INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ

Athenaのスキャン量とS3費用|同じ結果で読み取り量を比較する

同じ集計を返す条件で、読み取ったデータ量と別費用を比べます。 列とパーティションを分けて確認し、スキャン量を業務の集計結果と照合します。

この教材で学ぶこと

列とパーティションを分けて確認し、スキャン量を業務の集計結果と照合します。

先に知っておくこと

SQLのスキャン量課金を想定した架空の計測で、実価格や実クエリは使用しません。

読み取り量と保管量を分けて記録する

Athena SQLのスキャン量ベースの利用形態では、読み取ったデータ量が課金に関係します。S3の保管やリクエストは別に考えます。

同じ集計の条件を合わせた比較
同じ集計の条件を合わせた比較1: 業務の問い — 結果の条件を固定 — データ配置. 2: データ配置 — 実際の読み取りを観測 — 読み取り量. 3: 読み取り量 — 保管・要求の費用を足す — 費用の整理123業務の問いデータ配置読み取り量費用の整理同じ集計の条件を合わせた比較1: 業務の問い — 結果の条件を固定 — データ配置. 2: データ配置 — 実際の読み取りを観測 — 読み取り量. 3: 読み取り量 — 保管・要求の費用を足す — 費用の整理123業務の問いデータ配置読み取り量費用の整理
  1. 業務の問い → データ配置結果の条件を固定
  2. データ配置 → 読み取り量実際の読み取りを観測
  3. 読み取り量 → 費用の整理保管・要求の費用を足す
業務の問い
同じ1日・同じ列
データ配置
日付別と列指向形式
読み取り量
同じ結果でも異なる
費用の整理
スキャンと保管を分離

40 GBから2 GBになった理由を分ける

同じ日の注文数を集計した合成の測定。比較する結果は一致。
配置と条件スキャン量観測する要因
日付分割なしのCSV40 GB対象外の日も読み得る
日付分割CSV・日付条件あり8 GB対象パーティションを絞る
日付分割Parquet・必要列2 GB列と配置の効果
新旧ファイルを一時併存クエリとは別保管量が一時増える

パーティション条件は読む区画に、列指向形式は必要な列を読む処理に効きます。同じ結果で2 GBという値を得た場合、40 GBからの読み取り削減は95%です。

改善の実測に同じ条件を使う

計測値を選ぶ。 スキャン量、回数、結果待ち、別にかかるS3保管とリクエストを分けて記録します。

条件を意図して変える。 日付の条件を揃えてフォーマットや列を比較し、結果の件数と集計値を合わせます。

利用全体の量を見る。 作り直す処理や新旧併存の費用も考慮して、クエリ単体の節約を総額にそのまま当てはめません。

固定例で確認する

選択すると、正誤と理由が表示されます。

40 GBから2 GBになったとき読み取り量の削減は?
答えと理由を読む

正解:95% · 差38 GBを元の40 GBで割ります。

新旧ファイルの併存で確認するのは?
答えと理由を読む

正解:S3の保管量と保管期間 · スキャン量とは別に保管量へ影響します。

二つの方式を比較する前に固定すべきものは?
答えと理由を読む

正解:対象日・集計条件・結果 · 同じ業務結果に対する比較にします。

確認して、自分の言葉で説明する

  1. 同じ出力条件で測る。
  2. 読む範囲と列を別に確認する。
  3. AthenaとS3の項目を分けて評価する。
理解を確かめる: スキャン量を95%削減したら構成全体も95%安くなりますか?

他の費用と処理の回数・保管を見て総額を別に比較します。

95%はこの試行の読み取り量の削減です。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。