テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携
Glueの増分クローラーで列が反映されない|フォルダーと更新方針を確認
既存の日付フォルダーへ列が加わったとき、ジョブ成功の表示だけでカタログ更新を判断しません。 増分対象とカタログへの変更方針を区別します。
この教材で学ぶこと
増分対象とカタログへの変更方針を区別します。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
クロール対象と更新方針
増分方式は初回に全体を走査し、後続は新規フォルダーを対象にします。既存定義への変更は更新方針にも影響されます。
- 入力 → 増分更新場所を確認
- 増分 → 方針対象範囲を読む
- 方針 → 検収結果を確かめる
- 入力
- 既存の日付へ追記
- 増分
- 新規フォルダーを探索
- 方針
- 既存定義の更新判断
- 検収
- 表・列・クエリを照合
追加列source_versionの行方
| 観測 | 結果 | 判断 |
|---|---|---|
| 既存dt | ファイルを後追い更新 | 新規フォルダーとしては扱わない |
| 新規dt | パーティション追加 | 新規フォルダーを観測 |
| 既存表設定 | UpdateBehaviorがLOG | 既存定義の上書きと別 |
| 利用側 | 旧列のみ | 検証用定義で新列を比較 |
本番の定義を作り直す前に、更新対象と方針の二つを記録します。
確認する順番
フォルダーの追加を区別。 既存プレフィックスと新規フォルダーを、成功時の対象と照合します。
更新方針を読む。 LOGやパーティションの継承と、期待するカタログの変更を照合します。
読取りと下流を分ける。 初回の読み取り権限、対象テーブルの識別、下流の型互換も個別に検査します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- フォルダーとポリシーを分ける。
- 対象表を照合する。
- 合成クエリで列を確認する。
理解を確かめる: 増分方式から全体走査へ変更すれば常に解決しますか?
更新方針、対象表、下流互換も照合します。
探索しても定義が変わらない場合があります。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件初回の全体走査と後続の新規フォルダー。
確認した内容・条件更新ポリシーLOGで既存スキーマを維持。
参照した本文クロール対象と更新方針 確認する順番