INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携

Kinesisの順序と再開位置|SQL Server変更履歴の取り込み

同じ注文の変更を追い、再読込みで売上を二重計上しない構成を設計します。 キー・シーケンス番号・永続化・チェックポイントの責任を分けます。

この教材で学ぶこと

キー・シーケンス番号・永続化・チェックポイントの責任を分けます。

先に知っておくこと

架空の観測記録を読みます。実環境の操作は行いません。

変更イベントを確定する順序

パーティションキーはシャードへの割当てを決めます。シーケンス番号を全シャード共通の並びとして使わず、業務イベントIDも保存します。

保存後の再開位置
保存後の再開位置1: 変更抽出 — キーを付ける — 送信. 2: 送信 — 対応するシャード — 処理. 3: 処理 — 反映を確定する — 再開点123変更抽出送信処理再開点保存後の再開位置1: 変更抽出 — キーを付ける — 送信. 2: 送信 — 対応するシャード — 処理. 3: 処理 — 反映を確定する — 再開点123変更抽出送信処理再開点
  1. 変更抽出 → 送信キーを付ける
  2. 送信 → 処理対応するシャード
  3. 処理 → 再開点反映を確定する
変更抽出
注文とイベントID
送信
注文IDで振り分け
処理
重複を判定して永続化
再開点
保存後に記録

保存直後に中断した架空の消費処理

注文AとBは別シャード。Aのイベント17の反映後、チェックポイント更新前に終了した。
観測再開後判断
A 16反映済み・記録済み再開位置の根拠
A 17再読込み同一IDで反映済みと判定
A 18初回読込み変更を反映して記録
B 9別シャードで前進Aと番号比較しない

二重計上の防止は、反映済みIDと副作用の整合が取れる保存の設計に依存します。

運用時に揃える条件

順序の境界。 注文IDで振り分け、同じ注文で期待される順と遅れて到着した変更の扱いを定義します。

永続化の順。 変更結果とイベントIDを整合させ、完了した範囲だけをチェックポイントにします。

再開を練習。 反映直後に停止した例で、重複と次のイベントを別に検査します。

判断を確かめる

選択すると、正誤と理由が表示されます。

同じ注文の変更をまとめるキーは?
答えと理由を読む

正解:注文ID · 変更ごとの一意IDとは用途が異なります。

反映済みA 17を再読込みしたら?
答えと理由を読む

正解:反映済みIDとして扱う · 反映したときのIDを根拠にします。

再開点を進める時点は?
答えと理由を読む

正解:永続化を確定した後 · 完了範囲を記録します。

確認して、自分の言葉で説明する

  1. 注文の順序を定義する。
  2. 反映とIDを整合させる。
  3. 再開例で検証する。
理解を確かめる: 別シャードのAとBをシーケンス番号で並べられますか?

全体順序には業務側で定義した情報を使います。

番号と業務上の時系列の役割が違います。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。