INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:イベント処理の監視と復旧

障害対応の時系列を作る|観測・緩和・再発防止をつなぐ

障害記録では、観測した事実、作業中の仮説、緩和策とその効果を時刻で結び付けます。 画像変換キューの滞留を例に、回復の根拠と再発防止の検証方法を組み立てます。

この教材で学ぶこと

影響を業務結果から示し、時系列の各行を記録し、改善案ひとつに確認可能な合格条件を置ける。

先に知っておくこと

待ち行列の件数と最古メッセージの経過時間が違うことを知っていると読みやすくなります。

影響の確認から緩和と復旧判定につなげる

事後分析では利用者への影響、時刻、観測した証拠、寄与した条件を残します。観測から分からないものは仮説として扱い、判断を変える証拠を記録します。

画像変換の待ち時間が伸びた事例
画像変換の待ち時間が伸びた事例1: 影響を確認 — 利用者の困りごとを記録 — 比較する. 2: 比較する — 観測に沿って施策を選ぶ — 緩和する. 3: 緩和する — 事前に決めた指標で判断 — 回復を確認123影響を確認比較する緩和する回復を確認画像変換の待ち時間が伸びた事例1: 影響を確認 — 利用者の困りごとを記録 — 比較する. 2: 比較する — 観測に沿って施策を選ぶ — 緩和する. 3: 緩和する — 事前に決めた指標で判断 — 回復を確認123影響を確認比較する緩和する回復を確認
  1. 影響を確認 → 比較する利用者の困りごとを記録
  2. 比較する → 緩和する観測に沿って施策を選ぶ
  3. 緩和する → 回復を確認事前に決めた指標で判断
影響を確認
出力までの時間が伸びる
比較する
流入、完了、依存先を並べる
緩和する
一時的に受理量を減らす
回復を確認
待ち時間と完了が回復

四つの時刻をひとつの記録にする

架空の画像処理で観測した例。時刻は同じタイムゾーン
時刻実際に見たこと記録する判断
10:02画像の保存待ちが普段より長い件数だけでなく出力遅延が影響。
10:04到着は平常、完了率低下、DB待ち増加依存先待ちを仮説にし、処理の記録を追う。
10:06受理量を下げ、滞留の悪化が止まった緩和後の変化を観測中。
10:18最古経過・完了・依存先待ちが回復待っていた仕事の結果も確認して回復と記録。

依存先待ちが先に増えたことは手掛かりです。受理量を下げて改善した事実だけでは、依存先が遅くなった理由は決まりません。追加で必要なログと対象時間を残します。

再発防止に合格条件を置く

観測できる仮説にする。 たとえば「依存先の待ち時間が長いと完了率が下がる」を、同じ観測区間で処理の完了、待ち時間、失敗の変化を比較する形にします。

担当と検証方法を決める。 教材例では、待ち時間が延びた固定入力で、受付上限を下げても優先依頼が完了し、古い依頼が残らないことを再現試験の合格条件にします。

時系列から言える範囲を選ぶ

選択すると、正誤と理由が表示されます。

DB待ちが増え、同じ時刻に完了が下がりました。記録にどう残しますか?
答えと理由を読む

正解:観測として残し、依存先待ちを仮説にする · 相関した観測と、原因の仮説を分けます。

受理量を下げた後、回復を判断する観測は?
答えと理由を読む

正解:出力の完了、滞留、依存先待ち · 完了の回復と、未処理の残りを確認します。

再発防止策の合格条件はどれですか?
答えと理由を読む

正解:依存先が遅いテストで優先依頼と滞留を確認 · 再現条件と測定する結果を組み合わせます。

確認して、自分の言葉で説明する

  1. 影響の開始・把握・緩和・回復を時刻で並べる。
  2. 観測、仮説、未確認資料を区別する。
  3. 改善項目に担当と再現試験の合格条件を付ける。
理解を確かめる: 受理量を下げた後に回復したことから、何まで説明できますか?

緩和策の後で観測した完了率や滞留の変化を説明できます。

依存先が遅くなった理由を説明するには、個々の処理やDB側の証拠を追加で照合します。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。