テーマ別の解説テーマ:負荷分散とエラー調査
ALBの503エラーを調べる:応答元・ターゲット・ヘルスの切り分け
503を見たら、最初に「誰がその応答を返したか」を確認します。ALBが処理できなかった要求、listenerの固定応答、対象アプリが返した503は、同じ原因ではありません。再起動や設定の開放を急がず、同じ時刻・要求のログ、rule、target groupと状態を照合する順序を学びます。
ALB側とtarget側の応答を区別し、未登録・unused・ヘルス失敗・設定やアプリの問題から、証拠に合う次の確認を選べる。
ALBのlistener、rule、target group、target、ヘルスチェックの役割を知っていること。以下は固定した合成の調査例です。実際のAWSやログへ接続せず、ログ本文・IP・顧客情報の入力も求めません。
最初の確認:同じ503でも、応答した層が違う
- 症状を固定する → ALBの記録どのALB・ホスト名・パスへの要求かを特定する。前段のプロキシ等が応答していないかも確認。
- ALBの記録 → 対象の記録対象へ転送した証拠があれば照合する。転送していなければ、ALBのactionや対象の利用条件を調べる。
- 症状を固定する
- 時刻・タイムゾーン・URL・HTTPメソッド・影響範囲を記録。
- ALBの記録
- status、action、rule、選ばれたtarget groupを照合。
- 対象の記録
- 実際に要求が届いたなら、同じ要求のアプリ応答と依存先を調べる。
ブラウザの表示やServerヘッダーだけで応答元を決めません。ALBの前にCDNやプロキシがある場合も考え、時刻と対象要求をそろえます。ALBアクセスログはbest-effortの記録なので、行が見つからないだけで「ALBには届いていない」と断定できません。利用できる記録がなければ、不足として残します。
| 項目 | 読み取ること | 限界 |
|---|---|---|
| elb_status_code | ALB側でクライアントへ返したコード | fixed-responseやWAFの設定応答も区別する |
| target_status_code | 接続したtargetが応答したコード | 「-」はtargetのHTTP応答が記録されていない。原因は一意でない |
| actions_executed / matched_rule_priority | forward・fixed-response等の実行と一致した規則 | 見ているtarget groupが、その要求のforward先とは限らない |
| target:port / target_group_arn | 要求先の対象とgroup | 個人情報等を外部へ貼り付けず、管理範囲内で対応付ける |
具体例:同じ503の二つの記録を比較する
Case A
elb_status_code: 503
target_status_code: -
actions_executed: forward
selected_group: reports-blue
Case B
elb_status_code: 503
target_status_code: 503
actions_executed: forward
selected_group: reports-green例AはtargetのHTTP応答を記録していません。forward先の登録・利用条件、追加機能等を調べる材料ですが、これだけで空のgroupと確定はできません。例Bはtargetの503が記録されているので、該当アプリの同じ要求を調べます。コードが同じでも、先に確認する場所は違います。
選択すると、正誤と理由が表示されます。
ALB側の503:代表的な設定・対象条件を調べる
| 条件・構成 | 確認する証拠 | 避ける早合点 |
|---|---|---|
| forward先に登録targetがない | その要求で選ばれたgroupと登録一覧 | 別のgroupのhealthyを見て問題なしとする |
| 登録targetがすべてunused | 理由コード、EC2状態、listenerとの関連、有効AZ | unhealthyと同じ意味としてSGだけ広げる |
| cross-zone無効で、要求が入る有効AZに対象がない | group属性、AZごとの対象・容量、該当要求の偏り | 別AZにhealthyがいれば常に自動で振り分けると思う |
| target optimizerが有効で受入先がない | 機能の有効化、agentの状態、受入可能数と拒否の記録 | 通常のgroupにも同じagent設定があると思う |
| fixed-response等で503を設定 | 一致したruleとaction、保守の意図 | すべての503を未登録targetの障害とする |
| WAF等の設定応答、前段の応答 | 実行actionや前段の同時刻の記録 | ALBのtarget状態だけで応答元を決める |
target optimizerは、対象側のagentを使って同時処理数や要求を受けられる状態を管理する追加構成です。有効な場合は、ヘルス表示だけでなく、その受入条件も確認します。この機能を使っていない構成に、agentの追加や上限変更を解決策として持ち込みません。
複数target groupへ重み付きforwardをしている場合、片方が空、またはunhealthyだけでも、別のhealthyなgroupへ自動でfailoverするとは限りません。要求が実際に選ぶgroupと、その重み・登録・状態を照合します。
unusedとunhealthyを分け、理由コードを読む
| 状態・理由の例 | 次に確認すること | この表示だけで断定しないこと |
|---|---|---|
| unused / Target.NotInUse | groupとALBの関連、targetのAZがALBで有効か | 通信の許可を増やせば必ず直る |
| unused / Target.InvalidState | 対象EC2がstopped / terminated等か | アプリのポートが原因 |
| unhealthy / Target.ResponseCodeMismatch | ヘルス用パス、期待コード、実際の応答とアプリ設定 | 成功コードを無条件に広げればよい |
| unhealthy / Target.Timeout | ヘルス用ポート、SG/NACLの往復、経路、待受、資源状況 | SGだけ、または鍵だけが原因 |
| initial / 登録・初回確認中 | 登録時刻、初回ヘルス、変更の時系列 | 永続的な障害だと即断する |
選択すると、正誤と理由が表示されます。
切り分けの手順:変更前に、要求と構成を対応付ける
- 発生時刻とタイムゾーン、ホスト・パス・メソッド、継続/断続、影響する利用者やAZの傾向を記録する。秘密や個人情報をこのサイトへ入力しない。
- 同じ要求について前段、ALB、targetの記録を照合する。elb_status_codeとtarget_status_codeを分け、actionと一致したruleも確認する。
- その要求で選ばれたtarget groupを開く。登録数、target type、ポート、有効AZとgroup属性を確認する。
- unused / unhealthy / initial等と理由コードを分ける。ヘルスのパス、ポート、成功条件、SG・NACL・経路、アプリの待受を該当する理由から調べる。
- targetが503を返したなら、アプリの同じ要求・負荷・依存先・保守設定を調べる。EC2がrunningやヘルスがhealthyだけで正常としない。
- 直前のデプロイ、rule/重み、登録解除、AZやAuto Scaling変更等と時系列を照合する。利用可能な指標は記録を補う材料にし、単一の件数で原因を確定しない。
修正と検証:直す条件を絞り、同じ要求で確かめる
| 確認できた条件 | 対応の考え方 | 修正後の確認 |
|---|---|---|
| 意図したforward先だけ登録が空 | 正しいgroupと配置へ、意図した対象を登録する計画を審査 | 登録・AZ・ヘルスと該当URLの応答 |
| 保守用fixed-responseへ想定外に一致 | ruleの条件・優先順位と公開意図を照合して修正 | 同じhost/pathと、影響するほかの規則 |
| ヘルス用パスの変更が未反映 | アプリとヘルス設定のどちらを正すか仕様から判断 | 実際のヘルス要求と通常要求の両方 |
| アプリ側の依存先が失敗 | 依存先・アプリの原因を対象の担当者と解決 | 503減少だけでなく正しい処理結果と依存先 |
| まだ原因を裏付ける情報がない | 不足する記録・安全な収集方法を管理者と決める | 未確認を残し、推測した修正を成功報告にしない |
再起動、全世界へのSG開放、ヘルス成功コードの一括拡大、targetの全解除・再登録は、原因の証明になりません。対応するなら、変更前の根拠と影響範囲、戻し方を残し、同じ条件の要求、対象状態、実処理結果を確認します。この教材はその判断を練習するもので、実資源の修正を実行しません。
確認して、自分の言葉で説明する
- elb_status_codeとtarget_status_codeを分けて説明する。
- unusedとunhealthyで、先に見る証拠がどう違うかを答える。
- 修正前の根拠と、修正後に同じ条件で確認する項目を挙げる。
理解を確かめる: 503の画面だけで、空のtarget groupと断定できる?
できない。応答元、実行action、選ばれたgroup、対象の状態を照合する。
固定応答、追加機能、AZごとの条件、アプリの503等でも調査先が変わります。同じ要求の証拠を集め、足りない情報は未確認のまま扱います。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件elb_status_codeとtarget_status_code、target/port、実行action、best-effortログ。ハイフンだけで原因を一意に決めない。
参照した本文最初の確認:同じ503でも、応答した層が違う 具体例:同じ503の二つの記録を比較する ALB側の503:代表的な設定・対象条件を調べる
確認した内容・条件forward・redirect・fixed-responseの違い。設定した固定応答はtargetへ接続せず5xxを返し得る。 重み付きforwardは空・全unhealthyのgroupから別のhealthyなgroupへ自動failoverしない。
確認した内容・条件ALB側503の未登録・全unused、target optimizerの受入先なし。502/504やtarget側エラーとは区別。
参照した本文具体例:同じ503の二つの記録を比較する ALB側の503:代表的な設定・対象条件を調べる unusedとunhealthyを分け、理由コードを読む
確認した内容・条件initial・unhealthy・unused・drainingと理由コード。NotInUse・InvalidStateとヘルスチェック失敗を区別。
確認した内容・条件cross-zone無効で有効AZに対象なしの場合、そのAZに入る要求の503。routing/healthしきい値、drainingと一般的な全unhealthy時のfail-openを区別。
確認した内容・条件target登録、SG、draining、Auto Scaling連携。target optimizerはエージェントで同時処理数・受入可能状態を扱う追加構成。通常groupへ無条件で適用しない。
参照した本文ALB側の503:代表的な設定・対象条件を調べる
確認した内容・条件設定に従う定期的なヘルス要求としきい値、全unhealthy時のfail-open。アプリ全体の正しさの証明ではない。