INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:負荷分散とエラー調査

ALBの503エラーを調べる:応答元・ターゲット・ヘルスの切り分け

503を見たら、最初に「誰がその応答を返したか」を確認します。ALBが処理できなかった要求、listenerの固定応答、対象アプリが返した503は、同じ原因ではありません。再起動や設定の開放を急がず、同じ時刻・要求のログ、rule、target groupと状態を照合する順序を学びます。

この教材で学ぶこと

ALB側とtarget側の応答を区別し、未登録・unused・ヘルス失敗・設定やアプリの問題から、証拠に合う次の確認を選べる。

先に知っておくこと

ALBのlistener、rule、target group、target、ヘルスチェックの役割を知っていること。以下は固定した合成の調査例です。実際のAWSやログへ接続せず、ログ本文・IP・顧客情報の入力も求めません。

最初の確認:同じ503でも、応答した層が違う

人が確認する順序。矢印は通信経路ではなく、調査の進め方
人が確認する順序。矢印は通信経路ではなく、調査の進め方1: 症状を固定する — どのALB・ホスト名・パスへの要求かを特定する。前段のプロキシ等が応答していないかも確認。 — ALBの記録. 2: ALBの記録 — 対象へ転送した証拠があれば照合する。転送していなければ、ALBのactionや対象の利用条件を調べる。 — 対象の記録12症状を固定するALBの記録対象の記録人が確認する順序。矢印は通信経路ではなく、調査の進め方1: 症状を固定する — どのALB・ホスト名・パスへの要求かを特定する。前段のプロキシ等が応答していないかも確認。 — ALBの記録. 2: ALBの記録 — 対象へ転送した証拠があれば照合する。転送していなければ、ALBのactionや対象の利用条件を調べる。 — 対象の記録12症状を固定するALBの記録対象の記録
  1. 症状を固定する → ALBの記録どのALB・ホスト名・パスへの要求かを特定する。前段のプロキシ等が応答していないかも確認。
  2. ALBの記録 → 対象の記録対象へ転送した証拠があれば照合する。転送していなければ、ALBのactionや対象の利用条件を調べる。
症状を固定する
時刻・タイムゾーン・URL・HTTPメソッド・影響範囲を記録。
ALBの記録
status、action、rule、選ばれたtarget groupを照合。
対象の記録
実際に要求が届いたなら、同じ要求のアプリ応答と依存先を調べる。

ブラウザの表示やServerヘッダーだけで応答元を決めません。ALBの前にCDNやプロキシがある場合も考え、時刻と対象要求をそろえます。ALBアクセスログはbest-effortの記録なので、行が見つからないだけで「ALBには届いていない」と断定できません。利用できる記録がなければ、不足として残します。

アクセスログで照合する主な項目
項目読み取ること限界
elb_status_codeALB側でクライアントへ返したコードfixed-responseやWAFの設定応答も区別する
target_status_code接続したtargetが応答したコード「-」はtargetのHTTP応答が記録されていない。原因は一意でない
actions_executed / matched_rule_priorityforward・fixed-response等の実行と一致した規則見ているtarget groupが、その要求のforward先とは限らない
target:port / target_group_arn要求先の対象とgroup個人情報等を外部へ貼り付けず、管理範囲内で対応付ける

具体例:同じ503の二つの記録を比較する

調査用に抜粋した合成記録。AWSのログ行形式そのものではない
Case A
elb_status_code: 503
target_status_code: -
actions_executed: forward
selected_group: reports-blue

Case B
elb_status_code: 503
target_status_code: 503
actions_executed: forward
selected_group: reports-green

例AはtargetのHTTP応答を記録していません。forward先の登録・利用条件、追加機能等を調べる材料ですが、これだけで空のgroupと確定はできません。例Bはtargetの503が記録されているので、該当アプリの同じ要求を調べます。コードが同じでも、先に確認する場所は違います。

選択すると、正誤と理由が表示されます。

例Bのようにtarget_status_codeにも503があります。最初に進める調査は?
答えと理由を読む

正解:該当targetの同じ要求・アプリと依存先を照合する · targetが503を応答した記録です。アプリの過負荷・依存先・保守応答等を、その要求の証拠で調べます。ALBの作り直しだけでは原因を説明できません。

ALB側の503:代表的な設定・対象条件を調べる

原因候補と必要な証拠。すべての503を一つの条件へ当てはめない
条件・構成確認する証拠避ける早合点
forward先に登録targetがないその要求で選ばれたgroupと登録一覧別のgroupのhealthyを見て問題なしとする
登録targetがすべてunused理由コード、EC2状態、listenerとの関連、有効AZunhealthyと同じ意味としてSGだけ広げる
cross-zone無効で、要求が入る有効AZに対象がないgroup属性、AZごとの対象・容量、該当要求の偏り別AZにhealthyがいれば常に自動で振り分けると思う
target optimizerが有効で受入先がない機能の有効化、agentの状態、受入可能数と拒否の記録通常のgroupにも同じagent設定があると思う
fixed-response等で503を設定一致したruleとaction、保守の意図すべての503を未登録targetの障害とする
WAF等の設定応答、前段の応答実行actionや前段の同時刻の記録ALBのtarget状態だけで応答元を決める

target optimizerは、対象側のagentを使って同時処理数や要求を受けられる状態を管理する追加構成です。有効な場合は、ヘルス表示だけでなく、その受入条件も確認します。この機能を使っていない構成に、agentの追加や上限変更を解決策として持ち込みません。

複数target groupへ重み付きforwardをしている場合、片方が空、またはunhealthyだけでも、別のhealthyなgroupへ自動でfailoverするとは限りません。要求が実際に選ぶgroupと、その重み・登録・状態を照合します。

unusedとunhealthyを分け、理由コードを読む

状態と理由から、次の確認先を絞る
状態・理由の例次に確認することこの表示だけで断定しないこと
unused / Target.NotInUsegroupとALBの関連、targetのAZがALBで有効か通信の許可を増やせば必ず直る
unused / Target.InvalidState対象EC2がstopped / terminated等かアプリのポートが原因
unhealthy / Target.ResponseCodeMismatchヘルス用パス、期待コード、実際の応答とアプリ設定成功コードを無条件に広げればよい
unhealthy / Target.Timeoutヘルス用ポート、SG/NACLの往復、経路、待受、資源状況SGだけ、または鍵だけが原因
initial / 登録・初回確認中登録時刻、初回ヘルス、変更の時系列永続的な障害だと即断する

選択すると、正誤と理由が表示されます。

全targetがunhealthyです。この事実だけで正しいといえる結論は?
答えと理由を読む

正解:ヘルス失敗の理由と実応答元を分けて確認する必要がある · fail-open等の動作があり、状態名と応答コードは一対一ではありません。理由コードと該当要求の記録を読み、未確認の原因を確定扱いしません。

切り分けの手順:変更前に、要求と構成を対応付ける

  1. 発生時刻とタイムゾーン、ホスト・パス・メソッド、継続/断続、影響する利用者やAZの傾向を記録する。秘密や個人情報をこのサイトへ入力しない。
  2. 同じ要求について前段、ALB、targetの記録を照合する。elb_status_codeとtarget_status_codeを分け、actionと一致したruleも確認する。
  3. その要求で選ばれたtarget groupを開く。登録数、target type、ポート、有効AZとgroup属性を確認する。
  4. unused / unhealthy / initial等と理由コードを分ける。ヘルスのパス、ポート、成功条件、SG・NACL・経路、アプリの待受を該当する理由から調べる。
  5. targetが503を返したなら、アプリの同じ要求・負荷・依存先・保守設定を調べる。EC2がrunningやヘルスがhealthyだけで正常としない。
  6. 直前のデプロイ、rule/重み、登録解除、AZやAuto Scaling変更等と時系列を照合する。利用可能な指標は記録を補う材料にし、単一の件数で原因を確定しない。

修正と検証:直す条件を絞り、同じ要求で確かめる

証拠がそろった後の対応例。実施は管理者の許可範囲で行う
確認できた条件対応の考え方修正後の確認
意図したforward先だけ登録が空正しいgroupと配置へ、意図した対象を登録する計画を審査登録・AZ・ヘルスと該当URLの応答
保守用fixed-responseへ想定外に一致ruleの条件・優先順位と公開意図を照合して修正同じhost/pathと、影響するほかの規則
ヘルス用パスの変更が未反映アプリとヘルス設定のどちらを正すか仕様から判断実際のヘルス要求と通常要求の両方
アプリ側の依存先が失敗依存先・アプリの原因を対象の担当者と解決503減少だけでなく正しい処理結果と依存先
まだ原因を裏付ける情報がない不足する記録・安全な収集方法を管理者と決める未確認を残し、推測した修正を成功報告にしない

再起動、全世界へのSG開放、ヘルス成功コードの一括拡大、targetの全解除・再登録は、原因の証明になりません。対応するなら、変更前の根拠と影響範囲、戻し方を残し、同じ条件の要求、対象状態、実処理結果を確認します。この教材はその判断を練習するもので、実資源の修正を実行しません。

確認して、自分の言葉で説明する

  1. elb_status_codeとtarget_status_codeを分けて説明する。
  2. unusedとunhealthyで、先に見る証拠がどう違うかを答える。
  3. 修正前の根拠と、修正後に同じ条件で確認する項目を挙げる。
理解を確かめる: 503の画面だけで、空のtarget groupと断定できる?

できない。応答元、実行action、選ばれたgroup、対象の状態を照合する。

固定応答、追加機能、AZごとの条件、アプリの503等でも調査先が変わります。同じ要求の証拠を集め、足りない情報は未確認のまま扱います。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。