INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ

データレイクとウェアハウス|SQL Serverの注文を分析用に分ける

業務で確定する行と、読み取りやすく整えた分析結果を分けて扱います。 原本保管、変換、定型集計、再集計の役割を一つの注文例で判断します。

この教材で学ぶこと

原本保管、変換、定型集計、再集計の役割を一つの注文例で判断します。

先に知っておくこと

業務データを扱わず、架空の合成注文だけを例にします。

分析の目的を保存と処理に分ける

AthenaはS3上のデータに対話型SQLを実行できます。Redshift Spectrumは、RedshiftからS3の外部データをクエリできます。

注文データが業務から分析へ進む経路
注文データが業務から分析へ進む経路1: 業務原本 — 対象期間を選定 — レイク. 2: レイク — 粒度と型を確認 — 変換. 3: 変換 — 利用者へ提供 — ウェアハウス123業務原本レイク変換ウェアハウス注文データが業務から分析へ進む経路1: 業務原本 — 対象期間を選定 — レイク. 2: レイク — 粒度と型を確認 — 変換. 3: 変換 — 利用者へ提供 — ウェアハウス123業務原本レイク変換ウェアハウス
  1. 業務原本 → レイク対象期間を選定
  2. レイク → 変換粒度と型を確認
  3. 変換 → ウェアハウス利用者へ提供
業務原本
SQL Serverで確定
レイク
抽出した明細を保管
変換
重複と項目を検証
ウェアハウス
整形した集計を提供

四つの目的を保管先と照合する

日次報告と、後日の調査に備える合成データの構成。
目的候補成立条件
注文確定業務DBのトランザクション業務の結果を保持
再集計用の証跡S3の整形前データ版と対象期間を特定
原因の一時調査Athenaの範囲を絞ったSQL定義とアクセスを確認
毎朝の定型報告ウェアハウスの整形済み集計更新時点と集計定義を明示

レイクとウェアハウスは組み合わせて使えます。分析用の値には抽出時刻、粒度、変換の定義を添えて、業務原本との比較ができるようにします。

同じ注文を二重に数えない

粒度を宣言。 注文1件か明細1行か、対象時刻が受付・確定・抽出のどれかを記録します。

一時調査と定型の頻度を比較。 レイクの必要範囲だけを調べる用途と、毎回同じ集計定義で届ける用途を分けて費用を見ます。

訂正経路を決める。 再処理時は入力版と処理IDを記録し、分析結果が旧版と混ざらないよう検証して更新します。

固定例で確認する

選択すると、正誤と理由が表示されます。

注文が確定したかの根拠はどこ?
答えと理由を読む

正解:SQL Serverの確定結果 · 確定を担当する業務データを照合します。

S3の限定期間を調べる候補は?
答えと理由を読む

正解:対象のS3データをSQLで読む · Athenaで対象範囲を絞る案があります。

毎朝の報告で必要な証拠は?
答えと理由を読む

正解:集計粒度・対象時点・変換版 · 定型集計の定義と新しさを判断できるようにします。

確認して、自分の言葉で説明する

  1. 業務原本と分析用途を分ける。
  2. 保管する粒度と時点を明記する。
  3. 定型更新と再処理を検査する。
理解を確かめる: データレイクを作ればウェアハウスや業務DBと同じ判断ができますか?

必要な整形、集計定義と更新時点、業務の確定条件をそれぞれ確認します。

保存場所だけでデータの意味は決まりません。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。