INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:CI/CDの設計:検査から配信と回復まで

障害の振り返り(ポストモーテム):根拠・利用者影響・再発防止

ポストモーテムは、障害の記録から寄与要因を調べ、再発防止を検証できる改善へつなぐ振り返りです。「担当者が気を付ける」で終わらせず、何が分かり、何が未確認で、どの検査が抜けていたかを架空のデプロイ障害で考えます。

この教材で学ぶこと

時系列・影響・根拠・仮説を分け、担当・期限・合格条件のある再発防止策を作れる。

先に知っておくこと

前教材R2では、新アプリBがDBにarchivedを書き、旧版Aが読めなくなりました。アプリをAへ戻しても値は残ります。今回は、その架空障害を振り返ります。実障害の報告ではありません。

I1:起きたことを、記録できた範囲で読む

I1の対象は注文詳細の読取りです。すべて同じ架空日の時刻で、影響件数は同じ注文を二重計上しない累計とします。下表は与えられた教材データで、実AWS・利用者の計測ではありません。

I1の与えられた記録
時刻確認した事実まだ言えないこと
10:00Bの配信後、archivedの書込みを開始この時刻から全注文が失敗したとは言えない
10:03注文詳細の失敗を検知。異なる12注文でAの未対応値エラー12人とは限らない。影響全体の上限も未確定
10:04通信をAへ戻したが、同じ12注文の読取りは失敗切戻し操作の終了は回復完了ではない
10:08archived対応の修正版Cを反映。対象読取りの検査成功未検査の全機能や全顧客の無影響は証明しない
10:12対象12注文の再試行、必要な更新、正常注文の保持を照合対象外の影響や、未記録の損失がゼロとは断定しない

事実・仮説・未確認を混ぜない

I1から改善へ:根拠と、検証できる対応をつなぐ
I1から改善へ:根拠と、検証できる対応をつなぐ1: 時系列と影響 — 関連する記録を照合 — 照合した根拠. 2: 照合した根拠 — 検査の範囲を確認 — 抜けていた検査. 3: 抜けていた検査 — 具体的な変更へ — 担当付きの対策. 4: 担当付きの対策 — 合格条件を実行 — 対策の検証1234時系列と影響照合した根拠抜けていた検査担当付きの対策対策の検証I1から改善へ:根拠と、検証できる対応をつなぐ1: 時系列と影響 — 関連する記録を照合 — 照合した根拠. 2: 照合した根拠 — 検査の範囲を確認 — 抜けていた検査. 3: 抜けていた検査 — 具体的な変更へ — 担当付きの対策. 4: 担当付きの対策 — 合格条件を実行 — 対策の検証1234時系列と影響照合した根拠抜けていた検査担当付きの対策対策の検証
  1. 時系列と影響 → 照合した根拠関連する記録を照合
  2. 照合した根拠 → 抜けていた検査検査の範囲を確認
  3. 抜けていた検査 → 担当付きの対策具体的な変更へ
  4. 担当付きの対策 → 対策の検証合格条件を実行
時系列と影響
12注文、記録の対象範囲。
照合した根拠
Aのエラーとarchived値。
抜けていた検査
Bの書込みをAで読む例。
担当付きの対策
旧新の読書き検査を追加。
対策の検証
失敗例が検出されるか。
I1について書けること
区分記述例次の扱い
事実Aの対象エラーとarchivedを含む12注文を照合した参照した版・時刻・記録IDを残す
寄与要因の候補配信前の検査にBで書いてAで読む組合せがなかった検査定義と実行結果を調査して確認する
根拠のない断定担当者が不注意だった。AWS全体が落ちた記録だけで断定せず、仕組みと証拠を調べる
未確認影響を受けた人数と検知前の開始時刻不明と明記し、確認方法と担当を決める

振り返りでは利用者影響、原因を支える根拠、既存検査が見逃した理由を調べます。人への非難で閉じず、他の変更にも効く改善へつなげます。これは事実や担当を曖昧にすることではありません。

抜けを確かめてから、再発防止を決める

I1の追加調査で、当時の検査定義と保存結果を照合した、と条件を加えます。検査は「Aが書いてAが読む」「Bが書いてBが読む」のみで、異なる版をまたぐ検査はありませんでした。この調査後の根拠をもって、読書き互換性の検査漏れを寄与要因として扱います。

再発防止の固定例:書込み版 × 読取り版
書く版読む版値I1で与えた期待
AAnew / done読める
ABnew / done読める
BBarchived読める
BAarchived読めない:問題を検出
DCarchived読める:準備済みの回復先

改善を、担当・期限・完了条件まで書く

I1の対策案:いずれも架空の役割と期限
担当・期限実施する変更合格条件
アプリ担当:次の状態値変更前書込み版×読取り版の固定例をCIへ追加B→Aのarchivedを不合格として検出し、C/Dの対象例は合格
公開手順担当:次回公開前回復先の版・設定・データ条件を公開判定へ追加非互換なAを指定した候補を拒否し、検査済みCだけを通す
運用担当:振り返り後3営業日内検知・切戻し・回復確認の時刻と根拠を分けて記録同じ注文を二重計上せず、未確認を残せる
レビュー担当:次回公開判定時対策の実行結果を元の失敗例と照合手順書の追加だけで完了にせず、失敗検出の証拠を確認

上表はI1の対策案です。まだCIや実システムに実装したという意味ではありません。期限が過ぎたもの、検査できなかったもの、別の危険を増やしたものは未完了や要見直しにし、検証結果へリンクします。

次の変更に使える記録へまとめる

  1. 対象と版、利用者ができなかった操作、確認済み影響と不明な範囲を書く。
  2. 検知・影響抑制・切戻し・回復確認の時刻を根拠へ対応させる。
  3. 事実、追加調査で確認した寄与要因、残る仮説を分ける。
  4. 見逃した検査と、元の失敗例を検出できる改善を対応させる。
  5. 担当・期限・合格条件を決め、未実施を完了にしない。
  6. 次の公開判定で結果を確認し、他の関連教材や手順にも反映する。

根拠のある振り返りを選ぶ

選択すると、正誤と理由が表示されます。

10:03に12注文、10:04も同じ12注文が失敗。確認済み影響は?
答えと理由を読む

正解:12注文。試行回数や人数とは分ける。 · 与えられた累計の異なる注文は12です。影響全体の上限は別に調査します。

10:03検知、10:08対象読取り成功。障害全体は必ず5分?
答えと理由を読む

正解:いいえ。5分は検知から対象読取り確認まで。 · 開始は未確認、10:12の回復照合も別の時点です。

再発防止として最も検証しやすいものは?
答えと理由を読む

正解:Bが書いたarchivedをAで読む検査を加え、失敗を検出する。 · 当時の検査漏れと元の失敗例を直接対応させています。

検査追加の手順書を書いた。対策を完了にする?
答えと理由を読む

正解:まだ。担当の実行結果と元の失敗例の検出を確認する。 · 対策案と、実装・検証済みの改善を分けます。

確認して、自分の言葉で説明する

  1. I1の時系列から、確認済み12注文と不明な範囲を説明する。
  2. 事実と仮説、追加調査の根拠を分ける。
  3. B→Aの失敗がどの検査で見つかるか説明する。
  4. 対策の担当・期限・合格条件と、次回の確認方法を決める。
理解を確かめる: 「Aへの切戻しは成功、同じ12注文の失敗は継続」。振り返りに何を書く?

操作の完了と業務の未回復を別々に記録します。12注文を再加算せず、archivedをAが読めない根拠、修正版C後の対象検査と10:12の照合、未確認範囲を残します。

時系列は操作を並べるだけでなく、利用者の結果と根拠に対応させます。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。