テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ
Athenaの集計が重複する|再実行した取り込みの出力を照合
結果を直す前に、同じ業務行がどの実行から来たかをたどります。 SQL Serverの抽出とS3への追記、集計を区別して重複の段階を特定します。
この教材で学ぶこと
SQL Serverの抽出とS3への追記、集計を区別して重複の段階を特定します。
先に知っておくこと
架空の合成注文と取込み実行を比較します。実データの削除やSQL実行はしません。
再実行を入力と生成物に分ける
S3上の対象表へのAthenaのINSERT INTOは新しいファイルを書きます。データマニフェストで実行と生成されたファイルを照合できます。
- 元の注文 → 抽出版元の粒度を固定
- 抽出版 → 追記出力実行IDとファイル
- 追記出力 → 集計結果を照合する
- 元の注文
- 注文番号X1が1件
- 抽出版
- 同じ日付と版
- 追記出力
- 2実行が別ファイルを生成
- 集計
- X1を2行としてカウント
二重の業務行をどこで作ったか判定する
| 観測点 | 件数 | 読み方 |
|---|---|---|
| 元の注文キー | 3種類 | 同じキーの発生なし |
| 初回出力 | 3行 | 実行Aの出力 |
| 再実行出力 | 追加3行 | 実行Bが同じ入力を追記 |
| 集計 | 6行、キーは3種類 | 取り込みで重複した可能性 |
再送で同じ行を追記すれば集計で二重に数え得ます。失敗した処理でも一部のファイルが残る場合があるため、完了状態と実物を照合します。
再実行の範囲を固定して復旧する
同じ対象か確認。 業務キー、抽出版、対象期間、取り込み実行ID、出力パスとマニフェストを対応させます。
書き直す前に根拠を取る。 成功の重複と失敗で生成された途中出力を区別します。対象が曖昧なまま既存ファイルを消しません。
再実行の期待結果を定義。 同じ期間・版を再処理しても採用する出力が一つになる条件と、ユニークキー・合計の照合を設計します。
固定例で確認する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 業務キー・期間・入力版を固定する。
- 実行別の出力とマニフェストを照合する。
- 同じ入力で再実行の結果を確認する。
理解を確かめる: 集計の重複は表示の修正だけで解決できますか?
取り込みの実行と採用ファイルを確認し、再実行しても集計結果が一致する条件を検証します。
集計値の調整では重複した出力が残ります。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件追記の出力ファイル・マニフェストと失敗時の残り。