INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携

Redshift内部表とSpectrum外部表|SQL Server由来の分析先を決める

毎日繰り返す確定集計と、年に数回だけ調べる明細を分けます。 同じ定義・期間・件数で、配置による差を評価します。

この教材で学ぶこと

同じ定義・期間・件数で、配置による差を評価します。

先に知っておくこと

架空の観測記録を読みます。実環境の操作は行いません。

利用頻度と整備の境界

SpectrumはS3上の外部表をRedshiftから照会でき、内部表とも結合できます。定例集計で必要な取り込みと品質確認は別に見積もります。

業務履歴から定例報告と調査へ
業務履歴から定例報告と調査へ1: 履歴 — 期間を固定 — 確定表. 2: 確定表 — 識別子を揃える — 外部表. 3: 外部表 — 利用頻度を測る — 集計123履歴確定表外部表集計業務履歴から定例報告と調査へ1: 履歴 — 期間を固定 — 確定表. 2: 確定表 — 識別子を揃える — 外部表. 3: 外部表 — 利用頻度を測る — 集計123履歴確定表外部表集計
  1. 履歴 → 確定表期間を固定
  2. 確定表 → 外部表識別子を揃える
  3. 外部表 → 集計利用頻度を測る
履歴
SQL Server出力を固定
確定表
定例指標を整備
外部表
低頻度のS3履歴
集計
一致と負荷を比較

定例報告と過去調査を比較

同じ期間の注文件数を比較してから、配置を決める。所要差は設計上の観測例。
用途候補検収
毎朝の前日報告整備済みの内部表締め時刻と件数が一致
年次の明細調査Spectrum外部表絞り込んだ範囲だけ確認
旧商品との突合内部と外部の結合コードの型と重複を検査
締め直し両方で同じ確定版を参照再集計の差を説明

一致しないまま時間比較を行うと、別の件数を処理した測定が混ざります。

比較で固定する条件

表の場所。 内部表と外部表のデータ配置を記録し、表の場所と列型を照合します。

業務のスナップショット。 期間、タイムゾーン、取り消しの扱い、締め時点を先に決めます。

同じ負荷を測る。 結果の一致後にスキャン、実行時間、作り直しの運用コストを比較します。

判断を確かめる

選択すると、正誤と理由が表示されます。

毎朝使う確定集計で先に決めることは?
答えと理由を読む

正解:締め時点・定義・再処理 · 同じ基準で作れることが先です。

低頻度のS3履歴をRedshiftから読む候補は?
答えと理由を読む

正解:Spectrumの外部表 · 外部表を比較します。

結合の件数が倍増した。何を先に確認?
答えと理由を読む

正解:コード型と一対多・重複 · 結合の意味を先に調べます。

確認して、自分の言葉で説明する

  1. 定例と随時を分ける。
  2. 比較条件を揃える。
  3. 件数を照合して配置を判断する。
理解を確かめる: スキャンが小さい案をそのまま選びますか?

結果の一致、更新方法、頻度と運用コストも確認します。

同じレポートの正しさと再現性が必要です。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。