テーマ別の解説テーマ:SQS:再配信・保持・回復
SQSのDLQとは?受信回数・保持期間・リドライブの判断を図解
DLQ(デッドレターキュー)は、処理を完了できないメッセージを分けて、原因調査や再処理につなげるためのキューです。入っただけで不具合が直ったり、仕事が完了したりするわけではありません。受信回数による隔離、保持期間、原因を直してから戻すリドライブを分けて学びます。
SQSの送信元キューとDLQの関係を読み、受信回数・保持期間・順序・再処理先を確認して、調査と回復の次の一手を選べる。
SQSの受信、可視性タイムアウト、削除が別であること。先に可視性タイムアウトの教材で確認できます。例は架空の依頼と固定値で、実メッセージの閲覧・移動・削除やキューの設定変更は行いません。
隔離は、修復や処理成功とは違う
SQSのDLQは、通常の依頼を処理する送信元キューから、完了できないメッセージを分ける受け皿です。別のキューを用意して設定します。標準キューには標準キュー、FIFOキューにはFIFOキューを対応させます。FIFOは先入れ先出しの方式を表す名称です。
画像の変換依頼のうち、古い形式のデータだけを読めない例を考えます。同じ依頼を戻し続けても、読み取り側の不具合が残っていれば、同じ失敗を繰り返すかもしれません。まず該当する依頼を分け、原因と再処理できる条件を確かめます。
- 送信元キュー → DLQへ隔離設定した受信回数の条件
- DLQへ隔離 → 原因と影響を確認分けた依頼を調べる
- 原因と影響を確認 → 再処理を判断原因を直し、条件をそろえる
- 送信元キュー
- 通常の依頼を処理。受信と削除を確認。
- DLQへ隔離
- 処理できなかった依頼を分ける。
- 原因と影響を確認
- 修正、保持、重複、順序を調べる。
- 再処理を判断
- 戻す先と量、結果の確認方法を決める。
maxReceiveCountは、コードの例外数ではない
送信元キューのRedrivePolicyで、DLQの宛先とmaxReceiveCountを指定します。これはメッセージの受信回数に関するしきい値です。受信回数がこの値を超えるとDLQへ移す条件になり、アプリケーション内で例外が何回発生したかをSQSが直接数える設定ではありません。
| 見えた出来事 | この記録で言えること | 追加で調べること |
|---|---|---|
| 1回の受信後、コード内で同じ処理を3回試した | 内部の試行は3回。キューから受信したのはこの記録では1回。 | 内部でどんな結果を残したか。 |
| 処理は完了したが削除されず、同じ依頼を再受信した | 業務の成功後にも受信回数が増える場合を考える。 | 完了記録と削除の記録。重複の扱い。 |
| コンソール等で調査のために受信した | 調査の受信も配信状態へ影響しうる。 | 業務中の調査手順と、受信してよい範囲。 |
DLQ側のRedriveAllowPolicyは、どの送信元キューがそのDLQを利用できるかの設定です。送信元の「いつ移すか」と、DLQの「どこから受け入れるか」を分けます。再処理の移動操作を行う利用者の権限とも、同じ一つの設定ではありません。
保持期間は、キューの種類ごとに時計の起点を見る
次の図は、送信元に入れてから1日後にDLQへ移り、DLQの保持期間を4日とした固定例です。途中の受信や削除、設定変更は含めません。「DLQに来てから4日」と両方を同じように読むと、標準キュー側の残り時間を誤ります。
教材用の固定例 / 実際の配信時刻や処理結果を予測しません
標準キュー → 標準DLQ
- 0日送信元に入る
- 1日DLQへ移る。起点は0日のまま
- 4日この例の保持期限
DLQ移動後の残りは3日。
DLQのメトリクスで見る経過時間と、元の投入からの時間を混同しない。
FIFOキュー → FIFO DLQ
- 0日送信元に入る
- 1日DLQへ移る。ここから数え直す
- 5日この例の保持期限
DLQ移動後の残りは4日。
FIFOであっても、DLQへの隔離と復帰が業務の厳密な順序を保つとは限らない。
標準キューでは、DLQへ移っても元の投入時刻を使って保持期限を数えます。FIFOではDLQへ移った時点で投入時刻がリセットされます。また、DLQのApproximateAgeOfOldestMessageはDLQへ移ってからの経過を表すため、標準キューではそれだけで保持期限までの残りを読めません。
戻す前に、原因・重複・順序を確かめる
| 調査で分かったこと | 先にそろえる条件 | この時点で決め付けないこと |
|---|---|---|
| 受信側が古い形式を読めない | 読めるようにする修正と、対象例での結果確認。 | 移動すれば本文も自動修正される。 |
| 外部への保存は既に終わっていた | 同じ依頼の識別と、重複実行時の保存・通知の扱い。 | DLQにあるので、業務結果は一つも残っていない。 |
| 処理の順序が業務結果を左右する | 前後の依頼との関係と、回復後の処理順序の設計。 | FIFOへ戻せば、元の業務順序が必ず戻る。 |
| 原因が分からず、保持期限も近い | 担当者、期限、必要な調査と組織のデータ取扱い。 | 不明なので、全件をそのまま投入し直す。 |
FIFOでも、DLQへ分けたメッセージを後で戻すと、元の処理順序を壊す場合があります。戻したメッセージと新しく送られたメッセージは、宛先キューが受け取る順に混在しえます。順序が重要な業務では、単に元へ戻す操作だけで回復を完了させません。
リドライブは移動する操作。原因の修正は別に行う
SQSのDLQリドライブは、隔離したメッセージを送信元や別の処理先キューへ移す仕組みです。StartMessageMoveTaskの文脈では、移動元を指すsourceはDLQ自身になります。このAPIは、ほかのSQSキューを送信元とするDLQが対象で、Lambdaの非同期呼出し等に設定したDLQへ一律に使えるものではありません。
移動先も同じキューの種類にします。SQSのリドライブ中にメッセージを選別したり、本文を書き換えたりすることはできません。戻されたメッセージには新しいMessageIdと投入時刻が付き、保持期間もリセットされます。新しいIDだから業務上も新しい依頼だ、とは判断しません。
- 原因の修正や必要な前提を確認し、既に起きた業務結果を調べる。
- 移動先、対象の取扱い、実施権限、保持と順序の条件を確認する。
- 通常の依頼と合わせて処理できる量を考え、流す速度を抑えて始める計画を立てる。
- 移動した件数だけでなく、業務処理の結果と再び隔離される依頼を確認する。
- 悪化した場合に止める条件を決める。移動済みの仕事を巻き戻す操作とは考えない。
進行中のリドライブをキャンセルしても、既に移動したメッセージは移動先に残ります。移動の中止と、業務で起きた保存や通知を戻すことを分けて計画します。この教材では移動タスクを開始しません。
SQSのDLQと、Lambdaの非同期処理のDLQを分ける
SQSのイベントソースマッピングは関数を同期的に呼ぶ仕組みです。SQS送信元キューで受信回数によるDLQを設ける場合と、Lambdaの非同期呼出し側に失敗時の宛先やDLQを設ける場合を分けます。名前が同じDLQでも、どの仕組みから何が入ったかを先に調べます。
隔離された理由と、回復の条件を選ぶ
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- どの送信元から、どの仕組みでDLQへ入ったかを確認する。
- 受信回数とコード内の試行回数を分ける。
- キューの種類と、保持期限の時計の起点を見る。
- 原因、重複、順序、移動先、流す量をそろえてから再処理を判断する。
- 移動件数と業務結果を区別し、悪化時に止める条件も決める。
理解を確かめる: DLQから元のキューへ戻り、DLQの件数が0になりました。回復完了と言えますか。
件数だけでは言えません。移動先での処理結果と、既に起きた副作用も確認します。
移動は業務処理の成功を意味しません。原因が残っていれば再び失敗し、重複処理や順序の問題が残る場合もあります。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件処理できないメッセージの隔離、FIFOの順序への影響、標準/FIFOで異なる保持期限の起点。実データの回復は検証しない。
参照した本文隔離は、修復や処理成功とは違う maxReceiveCountは、コードの例外数ではない 保持期間は、キューの種類ごとに時計の起点を見る 戻す前に、原因・重複・順序を確かめる
確認した内容・条件別途用意するDLQと、送信元に合わせる標準/FIFOの種類。実際の作成・設定は教材で行わない。
参照した本文隔離は、修復や処理成功とは違う
確認した内容・条件RedrivePolicy/maxReceiveCountとRedriveAllowPolicyの役割、保持期間の短縮が既存メッセージへ及ぼす影響。設定変更は実行しない。
確認した内容・条件同種の移動先・移動速度、新しいIDと投入時刻、移動中の選別/本文変更不可、キャンセルしても移動済みを巻き戻さないこと。
確認した内容・条件移動元はDLQ自身。ほかのSQSキューを送信元とするDLQが対象で、Lambda非同期呼出し等へ一般化しない。移動タスク未実行。
確認した内容・条件ポーリング・同期バッチ呼出し・成功時削除、既定のバッチ失敗と部分バッチ応答。実関数やマッピングは作成しない。