INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:S3:版・保存期間・複製・費用

S3 Replicationとは?CRR・SRRと複製される対象を理解する

S3 Replicationは、条件に合うオブジェクトを別のバケットへ非同期で複製する仕組みです。別リージョンへ送るCRRと、同じリージョン内のSRRがあります。設定を保存したことと、必要なデータの複製が完了したことを分けて考えます。

この教材で学ぶこと

新規と既存の対象、両側のVersioning・権限・暗号化、削除とLifecycleの扱いを区別し、複製結果を何で確認するか説明できる。

先に知っておくこと

S3のVersioning、ACLとポリシー、Lifecycle。合成例は一般用途バケットAからBへの一方向の複製。両側のVersioningは有効で、図のレポートはルール設定後に保存され対象条件を満たすものとします。実AWSへ接続しません。

コピー元・対象ルール・複製先を対応させる

一方向のライブ複製:完了を確かめるまで同一とは決めない
一方向のライブ複製:完了を確かめるまで同一とは決めない1: 元バケットA — ルール作成後の対象版を選ぶ。以前の全データを自動収集する線ではない。 — 複製ルール. 2: 複製ルール — 必要な権限等を満たして複製する。逆方向の複製やアプリの切替は別設定。 — 先バケットB12元バケットA複製ルール先バケットB一方向のライブ複製:完了を確かめるまで同一とは決めない1: 元バケットA — ルール作成後の対象版を選ぶ。以前の全データを自動収集する線ではない。 — 複製ルール. 2: 複製ルール — 必要な権限等を満たして複製する。逆方向の複製やアプリの切替は別設定。 — 先バケットB12元バケットA複製ルール先バケットB
  1. 元バケットA → 複製ルールルール作成後の対象版を選ぶ。以前の全データを自動収集する線ではない。
  2. 複製ルール → 先バケットB必要な権限等を満たして複製する。逆方向の複製やアプリの切替は別設定。
元バケットA
Versioning有効。対象の新規レポート版を保存。
複製ルール
対象条件、複製先、S3が使うロールを指定する。
先バケットB
Versioning有効。非同期に複製。完了と読取り条件を確認する。
リージョンの違いと、対象時期の違い
呼び方用途の違い
CRR異なるリージョンのバケットへライブ複製
SRR同じリージョンの別バケットへライブ複製
Batch Replication既存データ等を、対象を選んだジョブで複製

選択すると、正誤と理由が表示されます。

複製ルールを今日作りました。先月からある全データもライブ複製だけで送られる?
答えと理由を読む

正解:いいえ。既存データはBatch Replication等の対象として別に検討する · ライブ複製は設定後の対象版が中心です。設定前のデータを必要とするなら、対象・ジョブ・権限・費用を別に確認します。

作成する人の権限と、S3が使う権限を分ける

複製ルールを作る主体と、複製処理のためにS3が引き受けるロールは別です。ロールの信頼と、元の版を読む許可・先へ複製する許可を対応させます。別アカウントなら、複製先側のbucket policy等による許可も必要です。

対象の版ごとに確認する前提
項目確認内容
Versioning元と先の両バケットで有効か。先で停止すれば複製が失敗する
対象条件prefix/タグ等が一致するか。設定前からあった対象と混ぜない
所有者元の版を読む権限、先の所有権設定と必要な権限が整合するか
保護元がObject Lock有効なら先にも要件がある。保持条件を確認

別アカウントへ送る場合、複製先が所有するのか、元側の所有関係を保つのかを意識します。Bucket owner enforced等の所有権設定やowner overrideによって扱いが変わります。データが到着したことだけで、複製先のアプリが読めるとは決まりません。

KMSで暗号化した版は、明示設定とキー権限まで確認する

AWS KMSは暗号鍵を管理するサービスです。そのキーを使うサーバー側暗号化がSSE-KMS、二層にするものがDSSE-KMSです。これらで暗号化された対象は、複製を明示的に有効にする設定が必要です。元のキーでの復号と、先のキーでの暗号化に対応した権限、キーのポリシーと対象リージョンを確認します。「S3を読めるからKMSも使える」とは限りません。

選択すると、正誤と理由が表示されます。

SSE-KMS用の複製設定が保存できました。これだけで対象データの複製完了と言える?
答えと理由を読む

正解:いいえ。キー条件と版ごとの複製結果を確認する · 設定の受付と、暗号化されたデータの複製実行は別です。元/先のキーと権限が実際の処理に使えるか、結果で確認します。

削除の種類で、複製先に伝わるものが違う

Filterを使う現行形式のライブ複製を基準に整理
元での変化先への扱い
version IDなしのDELETE既定では削除マーカーを複製しない。対応ルールで明示的に有効化できる
特定のversion IDを完全削除その完全削除は複製先へ伝わらない
Lifecycleによる削除マーカーdelete marker replicationを有効にしても複製しない
バケットのLifecycle設定を変更複製先へ設定自体をコピーしない

削除マーカーの複製はタグで対象を絞るルールでは使えません。古いV1形式は扱いが異なるため、既存設定にこの表を無条件で当てはめません。マーカーが先でも現行になれば、先の通常の読取りも削除扱いになりますが、残るデータ版とは区別します。

選択すると、正誤と理由が表示されます。

元でversionId=vAを指定して完全削除しました。先の同じ版も複製機能が必ず消す?
答えと理由を読む

正解:いいえ。その版指定の削除は複製されない · 版の完全削除、削除マーカー、Lifecycleの動作は別です。ただし複製先自身の権限やLifecycle等による削除まで防ぐという意味ではありません。

PENDING・COMPLETED・FAILEDを、必要な版に対応させる

通常の一方向複製で読む状態
状態読み方
PENDING複製が未完了。遅延と失敗の確定を同一視しない
COMPLETED対象版の複製が完了。複数先ならすべての先の完了条件を確認
FAILED権限やキー等の原因を調べる。修正しただけで失敗済みの全版が再送されるとは考えない
REPLICA複製先のレプリカを示す。アプリの切替完了という意味ではない

FAILEDの対象は、原因を修正した上でBatch Replication等の再処理を検討します。PENDING/FAILEDの複製状態は元のLifecycleにも影響します。また、複製先のLifecycleは到着時刻ではなく元オブジェクトの作成時刻を基準にするため、先の保持期間も別に確認します。

  1. 必要な対象と復旧要件を決め、リージョン/アカウント/既存データを分ける。
  2. 両側のVersioning、ルール、S3用ロール、所有権と暗号化条件を確認する。
  3. 対象版の状態と複製先を確認し、失敗原因と再処理対象を記録する。
  4. 複製先の保持・削除権限・読取り・アプリ切替と費用を別に設計する。

確認して、自分の言葉で説明する

  1. CRRとSRR、ライブとBatchの違いを読む。
  2. 対象・Versioning・権限・暗号化を確認する。
  3. 削除の種類と先の保持を区別する。
  4. 版ごとの完了と再処理対象を確認する。
理解を確かめる: 複製をONにすれば、既存データと削除と復旧もすべて自動でそろう?

いいえ。対象時期・削除設定・権限・保持・完了結果を別々に確認する。

複製は設定された対象の非同期コピーです。必要な版を読めることや復旧できることは、複製先も含めた設計と確認が必要です。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。