テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ
Athenaのスキャン量とS3費用|同じ結果で読み取り量を比較する
同じ集計を返す条件で、読み取ったデータ量と別費用を比べます。 列とパーティションを分けて確認し、スキャン量を業務の集計結果と照合します。
この教材で学ぶこと
列とパーティションを分けて確認し、スキャン量を業務の集計結果と照合します。
先に知っておくこと
SQLのスキャン量課金を想定した架空の計測で、実価格や実クエリは使用しません。
読み取り量と保管量を分けて記録する
Athena SQLのスキャン量ベースの利用形態では、読み取ったデータ量が課金に関係します。S3の保管やリクエストは別に考えます。
- 業務の問い → データ配置結果の条件を固定
- データ配置 → 読み取り量実際の読み取りを観測
- 読み取り量 → 費用の整理保管・要求の費用を足す
- 業務の問い
- 同じ1日・同じ列
- データ配置
- 日付別と列指向形式
- 読み取り量
- 同じ結果でも異なる
- 費用の整理
- スキャンと保管を分離
40 GBから2 GBになった理由を分ける
| 配置と条件 | スキャン量 | 観測する要因 |
|---|---|---|
| 日付分割なしのCSV | 40 GB | 対象外の日も読み得る |
| 日付分割CSV・日付条件あり | 8 GB | 対象パーティションを絞る |
| 日付分割Parquet・必要列 | 2 GB | 列と配置の効果 |
| 新旧ファイルを一時併存 | クエリとは別 | 保管量が一時増える |
パーティション条件は読む区画に、列指向形式は必要な列を読む処理に効きます。同じ結果で2 GBという値を得た場合、40 GBからの読み取り削減は95%です。
改善の実測に同じ条件を使う
計測値を選ぶ。 スキャン量、回数、結果待ち、別にかかるS3保管とリクエストを分けて記録します。
条件を意図して変える。 日付の条件を揃えてフォーマットや列を比較し、結果の件数と集計値を合わせます。
利用全体の量を見る。 作り直す処理や新旧併存の費用も考慮して、クエリ単体の節約を総額にそのまま当てはめません。
固定例で確認する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 同じ出力条件で測る。
- 読む範囲と列を別に確認する。
- AthenaとS3の項目を分けて評価する。
理解を確かめる: スキャン量を95%削減したら構成全体も95%安くなりますか?
他の費用と処理の回数・保管を見て総額を別に比較します。
95%はこの試行の読み取り量の削減です。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件スキャン量ベースのSQL利用とS3の別費用。
確認した内容・条件パーティション、列指向形式、圧縮の影響。