テーマ別の解説テーマ:CI/CDの設計:検査から配信と回復まで
障害の振り返り(ポストモーテム):根拠・利用者影響・再発防止
ポストモーテムは、障害の記録から寄与要因を調べ、再発防止を検証できる改善へつなぐ振り返りです。「担当者が気を付ける」で終わらせず、何が分かり、何が未確認で、どの検査が抜けていたかを架空のデプロイ障害で考えます。
時系列・影響・根拠・仮説を分け、担当・期限・合格条件のある再発防止策を作れる。
前教材R2では、新アプリBがDBにarchivedを書き、旧版Aが読めなくなりました。アプリをAへ戻しても値は残ります。今回は、その架空障害を振り返ります。実障害の報告ではありません。
I1:起きたことを、記録できた範囲で読む
I1の対象は注文詳細の読取りです。すべて同じ架空日の時刻で、影響件数は同じ注文を二重計上しない累計とします。下表は与えられた教材データで、実AWS・利用者の計測ではありません。
| 時刻 | 確認した事実 | まだ言えないこと |
|---|---|---|
| 10:00 | Bの配信後、archivedの書込みを開始 | この時刻から全注文が失敗したとは言えない |
| 10:03 | 注文詳細の失敗を検知。異なる12注文でAの未対応値エラー | 12人とは限らない。影響全体の上限も未確定 |
| 10:04 | 通信をAへ戻したが、同じ12注文の読取りは失敗 | 切戻し操作の終了は回復完了ではない |
| 10:08 | archived対応の修正版Cを反映。対象読取りの検査成功 | 未検査の全機能や全顧客の無影響は証明しない |
| 10:12 | 対象12注文の再試行、必要な更新、正常注文の保持を照合 | 対象外の影響や、未記録の損失がゼロとは断定しない |
事実・仮説・未確認を混ぜない
- 時系列と影響 → 照合した根拠関連する記録を照合
- 照合した根拠 → 抜けていた検査検査の範囲を確認
- 抜けていた検査 → 担当付きの対策具体的な変更へ
- 担当付きの対策 → 対策の検証合格条件を実行
- 時系列と影響
- 12注文、記録の対象範囲。
- 照合した根拠
- Aのエラーとarchived値。
- 抜けていた検査
- Bの書込みをAで読む例。
- 担当付きの対策
- 旧新の読書き検査を追加。
- 対策の検証
- 失敗例が検出されるか。
| 区分 | 記述例 | 次の扱い |
|---|---|---|
| 事実 | Aの対象エラーとarchivedを含む12注文を照合した | 参照した版・時刻・記録IDを残す |
| 寄与要因の候補 | 配信前の検査にBで書いてAで読む組合せがなかった | 検査定義と実行結果を調査して確認する |
| 根拠のない断定 | 担当者が不注意だった。AWS全体が落ちた | 記録だけで断定せず、仕組みと証拠を調べる |
| 未確認 | 影響を受けた人数と検知前の開始時刻 | 不明と明記し、確認方法と担当を決める |
振り返りでは利用者影響、原因を支える根拠、既存検査が見逃した理由を調べます。人への非難で閉じず、他の変更にも効く改善へつなげます。これは事実や担当を曖昧にすることではありません。
抜けを確かめてから、再発防止を決める
I1の追加調査で、当時の検査定義と保存結果を照合した、と条件を加えます。検査は「Aが書いてAが読む」「Bが書いてBが読む」のみで、異なる版をまたぐ検査はありませんでした。この調査後の根拠をもって、読書き互換性の検査漏れを寄与要因として扱います。
| 書く版 | 読む版 | 値 | I1で与えた期待 |
|---|---|---|---|
| A | A | new / done | 読める |
| A | B | new / done | 読める |
| B | B | archived | 読める |
| B | A | archived | 読めない:問題を検出 |
| D | C | archived | 読める:準備済みの回復先 |
改善を、担当・期限・完了条件まで書く
| 担当・期限 | 実施する変更 | 合格条件 |
|---|---|---|
| アプリ担当:次の状態値変更前 | 書込み版×読取り版の固定例をCIへ追加 | B→Aのarchivedを不合格として検出し、C/Dの対象例は合格 |
| 公開手順担当:次回公開前 | 回復先の版・設定・データ条件を公開判定へ追加 | 非互換なAを指定した候補を拒否し、検査済みCだけを通す |
| 運用担当:振り返り後3営業日内 | 検知・切戻し・回復確認の時刻と根拠を分けて記録 | 同じ注文を二重計上せず、未確認を残せる |
| レビュー担当:次回公開判定時 | 対策の実行結果を元の失敗例と照合 | 手順書の追加だけで完了にせず、失敗検出の証拠を確認 |
上表はI1の対策案です。まだCIや実システムに実装したという意味ではありません。期限が過ぎたもの、検査できなかったもの、別の危険を増やしたものは未完了や要見直しにし、検証結果へリンクします。
根拠のある振り返りを選ぶ
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- I1の時系列から、確認済み12注文と不明な範囲を説明する。
- 事実と仮説、追加調査の根拠を分ける。
- B→Aの失敗がどの検査で見つかるか説明する。
- 対策の担当・期限・合格条件と、次回の確認方法を決める。
理解を確かめる: 「Aへの切戻しは成功、同じ12注文の失敗は継続」。振り返りに何を書く?
操作の完了と業務の未回復を別々に記録します。12注文を再加算せず、archivedをAが読めない根拠、修正版C後の対象検査と10:12の照合、未確認範囲を残します。
時系列は操作を並べるだけでなく、利用者の結果と根拠に対応させます。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件利用者影響と根拠、寄与要因、責任追及を避けた分析と改善項目。 公式資料の確認であり、実AWS・DBの検証ではありません。
参照した本文事実・仮説・未確認を混ぜない