INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN準備中

テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ

Athenaの集計が重複する|再実行した取り込みの出力を照合

結果を直す前に、同じ業務行がどの実行から来たかをたどります。 SQL Serverの抽出とS3への追記、集計を区別して重複の段階を特定します。

この教材で学ぶこと

SQL Serverの抽出とS3への追記、集計を区別して重複の段階を特定します。

先に知っておくこと

架空の合成注文と取込み実行を比較します。実データの削除やSQL実行はしません。

再実行を入力と生成物に分ける

S3上の対象表へのAthenaのINSERT INTOは新しいファイルを書きます。データマニフェストで実行と生成されたファイルを照合できます。

元データから重複集計までの証拠
元データから重複集計までの証拠1: 元の注文 — 元の粒度を固定 — 抽出版. 2: 抽出版 — 実行IDとファイル — 追記出力. 3: 追記出力 — 結果を照合する — 集計123元の注文抽出版追記出力集計元データから重複集計までの証拠1: 元の注文 — 元の粒度を固定 — 抽出版. 2: 抽出版 — 実行IDとファイル — 追記出力. 3: 追記出力 — 結果を照合する — 集計123元の注文抽出版追記出力集計
  1. 元の注文 → 抽出版元の粒度を固定
  2. 抽出版 → 追記出力実行IDとファイル
  3. 追記出力 → 集計結果を照合する
元の注文
注文番号X1が1件
抽出版
同じ日付と版
追記出力
2実行が別ファイルを生成
集計
X1を2行としてカウント

二重の業務行をどこで作ったか判定する

注文が本来3件の日に、同じ抽出版を再送した架空例。
観測点件数読み方
元の注文キー3種類同じキーの発生なし
初回出力3行実行Aの出力
再実行出力追加3行実行Bが同じ入力を追記
集計6行、キーは3種類取り込みで重複した可能性

再送で同じ行を追記すれば集計で二重に数え得ます。失敗した処理でも一部のファイルが残る場合があるため、完了状態と実物を照合します。

再実行の範囲を固定して復旧する

同じ対象か確認。 業務キー、抽出版、対象期間、取り込み実行ID、出力パスとマニフェストを対応させます。

書き直す前に根拠を取る。 成功の重複と失敗で生成された途中出力を区別します。対象が曖昧なまま既存ファイルを消しません。

再実行の期待結果を定義。 同じ期間・版を再処理しても採用する出力が一つになる条件と、ユニークキー・合計の照合を設計します。

固定例で確認する

選択すると、正誤と理由が表示されます。

6行に見えるがキーは3種類。優先する照合は?
答えと理由を読む

正解:入力版と実行A/Bの出力を照合 · 実行ごとに同じ入力を追加したか見ます。

再実行が失敗表示なら出力は必ずゼロ?
答えと理由を読む

正解:実行のマニフェストと出力を確認 · 途中出力が残る場合があります。

修正後の合格条件は?
答えと理由を読む

正解:採用する出力と業務キー、集計値が一致 · 同じ入力への再実行でも指標が二重にならないことです。

確認して、自分の言葉で説明する

  1. 業務キー・期間・入力版を固定する。
  2. 実行別の出力とマニフェストを照合する。
  3. 同じ入力で再実行の結果を確認する。
理解を確かめる: 集計の重複は表示の修正だけで解決できますか?

取り込みの実行と採用ファイルを確認し、再実行しても集計結果が一致する条件を検証します。

集計値の調整では重複した出力が残ります。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。