INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:SQL Serverの復旧方式と分析データ

AWS GlueのData CatalogとETL|スキーマと実ファイルの変更を分ける

列定義が見えることと、データを変換済みであることは別です。 列の追加と型違いを、カタログ・クローラー・ETLジョブに分けて検証します。

この教材で学ぶこと

列の追加と型違いを、カタログ・クローラー・ETLジョブに分けて検証します。

先に知っておくこと

架空の注文を用い、個人情報や実ファイルは扱いません。

ファイル、定義、変換結果を順に確認する

Data Catalogには表の定義やデータ位置などのメタデータを置きます。クローラーは定義を推定し、ETLジョブはデータを抽出・変換して出力します。

取り込みから検証済み出力へ
取り込みから検証済み出力へ1: 入力ファイル — データを観測 — クローラー. 2: クローラー — 型の扱いを決める — カタログ. 3: カタログ — 変換を検査する — ETLの出力123入力ファイルクローラーカタログETLの出力取り込みから検証済み出力へ1: 入力ファイル — データを観測 — クローラー. 2: クローラー — 型の扱いを決める — カタログ. 3: カタログ — 変換を検査する — ETLの出力123入力ファイルクローラーカタログETLの出力
  1. 入力ファイル → クローラーデータを観測
  2. クローラー → カタログ型の扱いを決める
  3. カタログ → ETLの出力変換を検査する
入力ファイル
注文額は文字列
クローラー
列と型を検出
カタログ
表の定義を参照
ETLの出力
検証した数値列

ジョブで変換する前後の証拠を比較する

一つの入力期間に正常値100と文字列unknownがある架空例。
対象状態判断
入力の額文字列として保存数値としては使えない
クローラー文字列型と推定内容を変換していない
ETLジョブ100だけ変換、unknownを隔離検査で件数と扱いを確認
分析用定義数値列の別出力を見る入力のままの表と混ぜない

クローラーの設定でカタログの変更方法を制御できます。ETLの変換と出力の検査は別の作業です。

型の変更を構造と内容の両方でレビューする

格納場所と定義を照合。 同名テーブルでも、対象プレフィックス、列、型、パーティションが同じとは限りません。

自動更新の適用範囲を確認。 増分の場合や変更を反映しない設定で、何を再検査するか決めます。

変換できない値を記録する。 エラー件数と理由を分け、成功した値だけから全入力の合格を推定しません。

固定例で確認する

選択すると、正誤と理由が表示されます。

クローラーが文字列を検出したら数値へ変換されていますか?
答えと理由を読む

正解:書いたデータとETL結果を別に確認 · クローラーはメタデータを調べます。

unknownのような値を処理する根拠は?
答えと理由を読む

正解:隔離と件数を確認し理由を記録 · 無条件で数値にできない値の扱いを決めます。

カタログの表名が同じ。次に照合する条件は?
答えと理由を読む

正解:格納先・列・型・対象期間 · 定義が実際にどのデータを指すか見ます。

確認して、自分の言葉で説明する

  1. 入力・カタログ・出力を区別する。
  2. 型と変換失敗の条件を決める。
  3. 変換件数と定義を照合する。
理解を確かめる: Data Catalogの型を変えれば元ファイルの文字列を数値へ変換できますか?

元ファイルの変換と、結果を指す表定義を別々に確認します。

メタデータ変更は保存された値の変換ではありません。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。