テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ
AWS GlueのData CatalogとETL|スキーマと実ファイルの変更を分ける
列定義が見えることと、データを変換済みであることは別です。 列の追加と型違いを、カタログ・クローラー・ETLジョブに分けて検証します。
この教材で学ぶこと
列の追加と型違いを、カタログ・クローラー・ETLジョブに分けて検証します。
先に知っておくこと
架空の注文を用い、個人情報や実ファイルは扱いません。
ファイル、定義、変換結果を順に確認する
Data Catalogには表の定義やデータ位置などのメタデータを置きます。クローラーは定義を推定し、ETLジョブはデータを抽出・変換して出力します。
- 入力ファイル → クローラーデータを観測
- クローラー → カタログ型の扱いを決める
- カタログ → ETLの出力変換を検査する
- 入力ファイル
- 注文額は文字列
- クローラー
- 列と型を検出
- カタログ
- 表の定義を参照
- ETLの出力
- 検証した数値列
ジョブで変換する前後の証拠を比較する
| 対象 | 状態 | 判断 |
|---|---|---|
| 入力の額 | 文字列として保存 | 数値としては使えない |
| クローラー | 文字列型と推定 | 内容を変換していない |
| ETLジョブ | 100だけ変換、unknownを隔離 | 検査で件数と扱いを確認 |
| 分析用定義 | 数値列の別出力を見る | 入力のままの表と混ぜない |
クローラーの設定でカタログの変更方法を制御できます。ETLの変換と出力の検査は別の作業です。
型の変更を構造と内容の両方でレビューする
格納場所と定義を照合。 同名テーブルでも、対象プレフィックス、列、型、パーティションが同じとは限りません。
自動更新の適用範囲を確認。 増分の場合や変更を反映しない設定で、何を再検査するか決めます。
変換できない値を記録する。 エラー件数と理由を分け、成功した値だけから全入力の合格を推定しません。
固定例で確認する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 入力・カタログ・出力を区別する。
- 型と変換失敗の条件を決める。
- 変換件数と定義を照合する。
理解を確かめる: Data Catalogの型を変えれば元ファイルの文字列を数値へ変換できますか?
元ファイルの変換と、結果を指す表定義を別々に確認します。
メタデータ変更は保存された値の変換ではありません。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件カタログ、クローラー、ETLジョブの役割。
参照した本文ファイル、定義、変換結果を順に確認する ジョブで変換する前後の証拠を比較する 型の変更を構造と内容の両方でレビューする
確認した内容・条件更新条件・スキーマ変更・増分クロールの注意点。