テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ
データレイクとウェアハウス|SQL Serverの注文を分析用に分ける
業務で確定する行と、読み取りやすく整えた分析結果を分けて扱います。 原本保管、変換、定型集計、再集計の役割を一つの注文例で判断します。
この教材で学ぶこと
原本保管、変換、定型集計、再集計の役割を一つの注文例で判断します。
先に知っておくこと
業務データを扱わず、架空の合成注文だけを例にします。
分析の目的を保存と処理に分ける
AthenaはS3上のデータに対話型SQLを実行できます。Redshift Spectrumは、RedshiftからS3の外部データをクエリできます。
- 業務原本 → レイク対象期間を選定
- レイク → 変換粒度と型を確認
- 変換 → ウェアハウス利用者へ提供
- 業務原本
- SQL Serverで確定
- レイク
- 抽出した明細を保管
- 変換
- 重複と項目を検証
- ウェアハウス
- 整形した集計を提供
四つの目的を保管先と照合する
| 目的 | 候補 | 成立条件 |
|---|---|---|
| 注文確定 | 業務DBのトランザクション | 業務の結果を保持 |
| 再集計用の証跡 | S3の整形前データ | 版と対象期間を特定 |
| 原因の一時調査 | Athenaの範囲を絞ったSQL | 定義とアクセスを確認 |
| 毎朝の定型報告 | ウェアハウスの整形済み集計 | 更新時点と集計定義を明示 |
レイクとウェアハウスは組み合わせて使えます。分析用の値には抽出時刻、粒度、変換の定義を添えて、業務原本との比較ができるようにします。
同じ注文を二重に数えない
粒度を宣言。 注文1件か明細1行か、対象時刻が受付・確定・抽出のどれかを記録します。
一時調査と定型の頻度を比較。 レイクの必要範囲だけを調べる用途と、毎回同じ集計定義で届ける用途を分けて費用を見ます。
訂正経路を決める。 再処理時は入力版と処理IDを記録し、分析結果が旧版と混ざらないよう検証して更新します。
固定例で確認する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 業務原本と分析用途を分ける。
- 保管する粒度と時点を明記する。
- 定型更新と再処理を検査する。
理解を確かめる: データレイクを作ればウェアハウスや業務DBと同じ判断ができますか?
必要な整形、集計定義と更新時点、業務の確定条件をそれぞれ確認します。
保存場所だけでデータの意味は決まりません。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件S3上のデータへ外部クエリを行う構成。
確認した内容・条件S3上のデータの対話型SQL。
参照した本文分析の目的を保存と処理に分ける 同じ注文を二重に数えない