INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN準備中

テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携

Athenaのパーティションが絞れない|日付列と配置キーを照合する

同じ日報を返す二つの条件式を比べ、読む領域が広い理由を確認します。 検索時間だけで判断せず、EXPLAINとスキャン量を対にします。

この教材で学ぶこと

検索時間だけで判断せず、EXPLAINとスキャン量を対にします。

先に知っておくこと

架空の観測記録を読みます。実環境の操作は行いません。

絞り込みの効く列を探す

S3に日付別のパーティションを配置し、Athenaテーブルが文字列のdtを持つ例です。明細列で日付を絞っても、配置キーへの絞り込みは別に確認します。

定義・プラン・実行の照合
定義・プラン・実行の照合1: 表定義 — 列の役割を区別 — 条件. 2: 条件 — 計画で確認 — 計画. 3: 計画 — 同じ出力を測る — 結果123表定義条件計画結果定義・プラン・実行の照合1: 表定義 — 列の役割を区別 — 条件. 2: 条件 — 計画で確認 — 計画. 3: 計画 — 同じ出力を測る — 結果123表定義条件計画結果
  1. 表定義 → 条件列の役割を区別
  2. 条件 → 計画計画で確認
  3. 計画 → 結果同じ出力を測る
表定義
dt STRINGを確認
条件
dtの等値を付ける
計画
選択パーティション
結果
件数と読取り量

同じ日の合成日報を再実行

時刻のタイムゾーンと日付の配置規則が同じ範囲を指すと確認済み。数字は架空。
条件件数スキャン量
event_tsだけ120件1.2 GB
dtの等値も追加120件120 MB
誤った日付のdt0件ほぼなし
EXPLAINの比較対象日のみ選択原因の確認

スキャン削減は件数と集計結果が一致する場合に採用します。

変更前に確認。

定義を読む。 パーティションキーの型と範囲、条件を書いた列を確認します。

境界を揃える。 時刻と配置日が異なるデータの有無を調べます。

実測する。 同じ実行条件で件数、プラン、読取り量を再比較します。

判断を確かめる

選択すると、正誤と理由が表示されます。

最初に何を照合する?
答えと理由を読む

正解:配置キーと明細日時 · 表とWHEREの列を突き合わせます。

0件で最速だった。採用しますか?
答えと理由を読む

正解:日付境界を見直す · 同じ業務結果が必要です。

絞り込みを裏付ける組は?
答えと理由を読む

正解:選択パーティションとスキャン量 · 計画と実測を対応させます。

確認して、自分の言葉で説明する

  1. パーティション定義を見る。
  2. 同じ意味になる条件を加える。
  3. 計画と結果を比較する。
理解を確かめる: データが日付ごとに配置されていれば常に絞れますか?

クエリに適切な配置キーの条件を付け、計画で確認します。

配置とSQLの条件が連動する必要があります。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。