テーマ別の解説テーマ:復旧とIaC配信のトラブル調査
SQL ServerをMulti-AZにしても業務が止まる|共有の単一障害点
DBの待機系が動作しても、同じ中継に依存するアプリは止まります。 二つのAPI経路が合流する場所を観測します。
DBのスタンバイ、接続経路、業務処理のどこが残ったかを比較し、共通の依存先を特定する。
RDS for SQL ServerのDBインスタンスと、自社管理の架空中継を仮定します。ネットワークやDB設定は変更しません。
サービスの冗長化と利用側の経路を分ける
RDSのMulti-AZ DBインスタンス構成では、別AZの同期スタンバイがDBの可用性に使われます。障害範囲を調べるには、利用者側が必要とする他の依存先も含めて確認します。
- API A → 中継Aの接続経路
- API B → 中継Bの接続経路
- 中継 → DBDBの到達を確認
- API A
- AZ Aに配置
- API B
- AZ Bに配置
- 中継
- 両APIが中継Xを使用
- DB
- 健康な切替先に到達可能
DB側とAPI側の観測をそろえる
| 観測 | 結果 | 示すもの |
|---|---|---|
| 管理系のDB到達確認 | 新しい主系で読取り成功 | DBとその確認経路は稼働 |
| API Aから中継X | 到達失敗 | 同じ中継に失敗 |
| API Bから中継X | 到達失敗 | AZを分けても共通の依存 |
| 両APIから注文確定 | 失敗 | 業務の結果は未復旧 |
資源が置かれた場所だけでなく、その資源が使う経路も確認します。AWSの分離ガイドも、部分ごとに異なる場所や可用性要件を持つ依存を確認するよう求めています。
再開を判定する証拠を分ける
前後で比較する。 許可済みの管理系とアプリ系で、同じ時刻、同じ対象DBに対する非破壊の確認をします。ネットワークの違いを記録します。
共通の依存を図にする。 DNS、接続中継、認証、業務ジョブ、必要な外部サービスごとに、その片系が失われたとき代替できる経路を確認します。
改善後に結果を測る。 中継の冗長化を導入したら、片側が使えない条件でも注文確定と読み戻しが通るかを隔離環境で確認します。
固定例で判断する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- DBとアプリの確認経路を描く。
- 二つのAPIが共有する依存を探す。
- 障害範囲を固定して業務完了を再検証する。
理解を確かめる: DBで読めるのに注文で失敗するとき、どこまで復旧と報告できますか?
読取りを確認した管理経路までです。注文経路の成立を別に確認します。
構成の状態と業務の状態を分けます。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件場所を分けても残る依存関係の確認。
確認した内容・条件DBインスタンスの同期スタンバイと用途。