テーマ別の解説テーマ:イベント処理の監視と復旧
障害対応の時系列を作る|観測・緩和・再発防止をつなぐ
障害記録では、観測した事実、作業中の仮説、緩和策とその効果を時刻で結び付けます。 画像変換キューの滞留を例に、回復の根拠と再発防止の検証方法を組み立てます。
この教材で学ぶこと
影響を業務結果から示し、時系列の各行を記録し、改善案ひとつに確認可能な合格条件を置ける。
先に知っておくこと
待ち行列の件数と最古メッセージの経過時間が違うことを知っていると読みやすくなります。
影響の確認から緩和と復旧判定につなげる
事後分析では利用者への影響、時刻、観測した証拠、寄与した条件を残します。観測から分からないものは仮説として扱い、判断を変える証拠を記録します。
- 影響を確認 → 比較する利用者の困りごとを記録
- 比較する → 緩和する観測に沿って施策を選ぶ
- 緩和する → 回復を確認事前に決めた指標で判断
- 影響を確認
- 出力までの時間が伸びる
- 比較する
- 流入、完了、依存先を並べる
- 緩和する
- 一時的に受理量を減らす
- 回復を確認
- 待ち時間と完了が回復
四つの時刻をひとつの記録にする
| 時刻 | 実際に見たこと | 記録する判断 |
|---|---|---|
| 10:02 | 画像の保存待ちが普段より長い | 件数だけでなく出力遅延が影響。 |
| 10:04 | 到着は平常、完了率低下、DB待ち増加 | 依存先待ちを仮説にし、処理の記録を追う。 |
| 10:06 | 受理量を下げ、滞留の悪化が止まった | 緩和後の変化を観測中。 |
| 10:18 | 最古経過・完了・依存先待ちが回復 | 待っていた仕事の結果も確認して回復と記録。 |
依存先待ちが先に増えたことは手掛かりです。受理量を下げて改善した事実だけでは、依存先が遅くなった理由は決まりません。追加で必要なログと対象時間を残します。
再発防止に合格条件を置く
観測できる仮説にする。 たとえば「依存先の待ち時間が長いと完了率が下がる」を、同じ観測区間で処理の完了、待ち時間、失敗の変化を比較する形にします。
担当と検証方法を決める。 教材例では、待ち時間が延びた固定入力で、受付上限を下げても優先依頼が完了し、古い依頼が残らないことを再現試験の合格条件にします。
時系列から言える範囲を選ぶ
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 影響の開始・把握・緩和・回復を時刻で並べる。
- 観測、仮説、未確認資料を区別する。
- 改善項目に担当と再現試験の合格条件を付ける。
理解を確かめる: 受理量を下げた後に回復したことから、何まで説明できますか?
緩和策の後で観測した完了率や滞留の変化を説明できます。
依存先が遅くなった理由を説明するには、個々の処理やDB側の証拠を追加で照合します。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件時系列、影響、寄与要因と再発防止。