テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携
Kinesisの順序と再開位置|SQL Server変更履歴の取り込み
同じ注文の変更を追い、再読込みで売上を二重計上しない構成を設計します。 キー・シーケンス番号・永続化・チェックポイントの責任を分けます。
この教材で学ぶこと
キー・シーケンス番号・永続化・チェックポイントの責任を分けます。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
変更イベントを確定する順序
パーティションキーはシャードへの割当てを決めます。シーケンス番号を全シャード共通の並びとして使わず、業務イベントIDも保存します。
- 変更抽出 → 送信キーを付ける
- 送信 → 処理対応するシャード
- 処理 → 再開点反映を確定する
- 変更抽出
- 注文とイベントID
- 送信
- 注文IDで振り分け
- 処理
- 重複を判定して永続化
- 再開点
- 保存後に記録
保存直後に中断した架空の消費処理
| 観測 | 再開後 | 判断 |
|---|---|---|
| A 16 | 反映済み・記録済み | 再開位置の根拠 |
| A 17 | 再読込み | 同一IDで反映済みと判定 |
| A 18 | 初回読込み | 変更を反映して記録 |
| B 9 | 別シャードで前進 | Aと番号比較しない |
二重計上の防止は、反映済みIDと副作用の整合が取れる保存の設計に依存します。
運用時に揃える条件
順序の境界。 注文IDで振り分け、同じ注文で期待される順と遅れて到着した変更の扱いを定義します。
永続化の順。 変更結果とイベントIDを整合させ、完了した範囲だけをチェックポイントにします。
再開を練習。 反映直後に停止した例で、重複と次のイベントを別に検査します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 注文の順序を定義する。
- 反映とIDを整合させる。
- 再開例で検証する。
理解を確かめる: 別シャードのAとBをシーケンス番号で並べられますか?
全体順序には業務側で定義した情報を使います。
番号と業務上の時系列の役割が違います。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件パーティションキー、シャード、シーケンス番号。