テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携
Redshift内部表とSpectrum外部表|SQL Server由来の分析先を決める
毎日繰り返す確定集計と、年に数回だけ調べる明細を分けます。 同じ定義・期間・件数で、配置による差を評価します。
この教材で学ぶこと
同じ定義・期間・件数で、配置による差を評価します。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
利用頻度と整備の境界
SpectrumはS3上の外部表をRedshiftから照会でき、内部表とも結合できます。定例集計で必要な取り込みと品質確認は別に見積もります。
- 履歴 → 確定表期間を固定
- 確定表 → 外部表識別子を揃える
- 外部表 → 集計利用頻度を測る
- 履歴
- SQL Server出力を固定
- 確定表
- 定例指標を整備
- 外部表
- 低頻度のS3履歴
- 集計
- 一致と負荷を比較
定例報告と過去調査を比較
| 用途 | 候補 | 検収 |
|---|---|---|
| 毎朝の前日報告 | 整備済みの内部表 | 締め時刻と件数が一致 |
| 年次の明細調査 | Spectrum外部表 | 絞り込んだ範囲だけ確認 |
| 旧商品との突合 | 内部と外部の結合 | コードの型と重複を検査 |
| 締め直し | 両方で同じ確定版を参照 | 再集計の差を説明 |
一致しないまま時間比較を行うと、別の件数を処理した測定が混ざります。
比較で固定する条件
表の場所。 内部表と外部表のデータ配置を記録し、表の場所と列型を照合します。
業務のスナップショット。 期間、タイムゾーン、取り消しの扱い、締め時点を先に決めます。
同じ負荷を測る。 結果の一致後にスキャン、実行時間、作り直しの運用コストを比較します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 定例と随時を分ける。
- 比較条件を揃える。
- 件数を照合して配置を判断する。
理解を確かめる: スキャンが小さい案をそのまま選びますか?
結果の一致、更新方法、頻度と運用コストも確認します。
同じレポートの正しさと再現性が必要です。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件S3外部表と内部表の分析。
参照した本文利用頻度と整備の境界 定例報告と過去調査を比較 比較で固定する条件