INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN準備中

テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携

Glueの増分クローラーで列が反映されない|フォルダーと更新方針を確認

既存の日付フォルダーへ列が加わったとき、ジョブ成功の表示だけでカタログ更新を判断しません。 増分対象とカタログへの変更方針を区別します。

この教材で学ぶこと

増分対象とカタログへの変更方針を区別します。

先に知っておくこと

架空の観測記録を読みます。実環境の操作は行いません。

クロール対象と更新方針

増分方式は初回に全体を走査し、後続は新規フォルダーを対象にします。既存定義への変更は更新方針にも影響されます。

旧フォルダーと新規フォルダーを分ける
旧フォルダーと新規フォルダーを分ける1: 入力 — 更新場所を確認 — 増分. 2: 増分 — 対象範囲を読む — 方針. 3: 方針 — 結果を確かめる — 検収123入力増分方針検収旧フォルダーと新規フォルダーを分ける1: 入力 — 更新場所を確認 — 増分. 2: 増分 — 対象範囲を読む — 方針. 3: 方針 — 結果を確かめる — 検収123入力増分方針検収
  1. 入力 → 増分更新場所を確認
  2. 増分 → 方針対象範囲を読む
  3. 方針 → 検収結果を確かめる
入力
既存の日付へ追記
増分
新規フォルダーを探索
方針
既存定義の更新判断
検収
表・列・クエリを照合

追加列source_versionの行方

架空のS3プレフィックスで当日ファイルを追記し、別の日付も追加した。
観測結果判断
既存dtファイルを後追い更新新規フォルダーとしては扱わない
新規dtパーティション追加新規フォルダーを観測
既存表設定UpdateBehaviorがLOG既存定義の上書きと別
利用側旧列のみ検証用定義で新列を比較

本番の定義を作り直す前に、更新対象と方針の二つを記録します。

確認する順番

フォルダーの追加を区別。 既存プレフィックスと新規フォルダーを、成功時の対象と照合します。

更新方針を読む。 LOGやパーティションの継承と、期待するカタログの変更を照合します。

読取りと下流を分ける。 初回の読み取り権限、対象テーブルの識別、下流の型互換も個別に検査します。

判断を確かめる

選択すると、正誤と理由が表示されます。

既存フォルダーへの追記を新規フォルダー扱いできますか?
答えと理由を読む

正解:対象の探索条件を確認 · 増分対象の意味を確認します。

LOGの意味は?
答えと理由を読む

正解:差分を記録し既存スキーマの更新を抑える · 既存スキーマの上書き経路を区別します。

新列を使える証拠は?
答えと理由を読む

正解:対象表の定義と代表クエリ · 参照対象を固定します。

確認して、自分の言葉で説明する

  1. フォルダーとポリシーを分ける。
  2. 対象表を照合する。
  3. 合成クエリで列を確認する。
理解を確かめる: 増分方式から全体走査へ変更すれば常に解決しますか?

更新方針、対象表、下流互換も照合します。

探索しても定義が変わらない場合があります。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。