テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携
Athenaのパーティションが絞れない|日付列と配置キーを照合する
同じ日報を返す二つの条件式を比べ、読む領域が広い理由を確認します。 検索時間だけで判断せず、EXPLAINとスキャン量を対にします。
この教材で学ぶこと
検索時間だけで判断せず、EXPLAINとスキャン量を対にします。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
絞り込みの効く列を探す
S3に日付別のパーティションを配置し、Athenaテーブルが文字列のdtを持つ例です。明細列で日付を絞っても、配置キーへの絞り込みは別に確認します。
- 表定義 → 条件列の役割を区別
- 条件 → 計画計画で確認
- 計画 → 結果同じ出力を測る
- 表定義
- dt STRINGを確認
- 条件
- dtの等値を付ける
- 計画
- 選択パーティション
- 結果
- 件数と読取り量
同じ日の合成日報を再実行
| 条件 | 件数 | スキャン量 |
|---|---|---|
| event_tsだけ | 120件 | 1.2 GB |
| dtの等値も追加 | 120件 | 120 MB |
| 誤った日付のdt | 0件 | ほぼなし |
| EXPLAINの比較 | 対象日のみ選択 | 原因の確認 |
スキャン削減は件数と集計結果が一致する場合に採用します。
変更前に確認。
定義を読む。 パーティションキーの型と範囲、条件を書いた列を確認します。
境界を揃える。 時刻と配置日が異なるデータの有無を調べます。
実測する。 同じ実行条件で件数、プラン、読取り量を再比較します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- パーティション定義を見る。
- 同じ意味になる条件を加える。
- 計画と結果を比較する。
理解を確かめる: データが日付ごとに配置されていれば常に絞れますか?
クエリに適切な配置キーの条件を付け、計画で確認します。
配置とSQLの条件が連動する必要があります。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
- Optimize data確認日:
確認した内容・条件パーティションキー、等値、EXPLAINによる確認。
参照した本文絞り込みの効く列を探す 同じ日の合成日報を再実行 変更前に確認。