INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:SQS:再配信・保持・回復

SQSのDLQとは?受信回数・保持期間・リドライブの判断を図解

DLQ(デッドレターキュー)は、処理を完了できないメッセージを分けて、原因調査や再処理につなげるためのキューです。入っただけで不具合が直ったり、仕事が完了したりするわけではありません。受信回数による隔離、保持期間、原因を直してから戻すリドライブを分けて学びます。

この教材で学ぶこと

SQSの送信元キューとDLQの関係を読み、受信回数・保持期間・順序・再処理先を確認して、調査と回復の次の一手を選べる。

先に知っておくこと

SQSの受信、可視性タイムアウト、削除が別であること。先に可視性タイムアウトの教材で確認できます。例は架空の依頼と固定値で、実メッセージの閲覧・移動・削除やキューの設定変更は行いません。

隔離は、修復や処理成功とは違う

SQSのDLQは、通常の依頼を処理する送信元キューから、完了できないメッセージを分ける受け皿です。別のキューを用意して設定します。標準キューには標準キュー、FIFOキューにはFIFOキューを対応させます。FIFOは先入れ先出しの方式を表す名称です。

画像の変換依頼のうち、古い形式のデータだけを読めない例を考えます。同じ依頼を戻し続けても、読み取り側の不具合が残っていれば、同じ失敗を繰り返すかもしれません。まず該当する依頼を分け、原因と再処理できる条件を確かめます。

架空の画像処理:隔離、原因の確認、回復の判断を分ける
架空の画像処理:隔離、原因の確認、回復の判断を分ける1: 送信元キュー — 設定した受信回数の条件 — DLQへ隔離. 2: DLQへ隔離 — 分けた依頼を調べる — 原因と影響を確認. 3: 原因と影響を確認 — 原因を直し、条件をそろえる — 再処理を判断123送信元キューDLQへ隔離原因と影響を確認再処理を判断架空の画像処理:隔離、原因の確認、回復の判断を分ける1: 送信元キュー — 設定した受信回数の条件 — DLQへ隔離. 2: DLQへ隔離 — 分けた依頼を調べる — 原因と影響を確認. 3: 原因と影響を確認 — 原因を直し、条件をそろえる — 再処理を判断123送信元キューDLQへ隔離原因と影響を確認再処理を判断
  1. 送信元キュー → DLQへ隔離設定した受信回数の条件
  2. DLQへ隔離 → 原因と影響を確認分けた依頼を調べる
  3. 原因と影響を確認 → 再処理を判断原因を直し、条件をそろえる
送信元キュー
通常の依頼を処理。受信と削除を確認。
DLQへ隔離
処理できなかった依頼を分ける。
原因と影響を確認
修正、保持、重複、順序を調べる。
再処理を判断
戻す先と量、結果の確認方法を決める。

maxReceiveCountは、コードの例外数ではない

送信元キューのRedrivePolicyで、DLQの宛先とmaxReceiveCountを指定します。これはメッセージの受信回数に関するしきい値です。受信回数がこの値を超えるとDLQへ移す条件になり、アプリケーション内で例外が何回発生したかをSQSが直接数える設定ではありません。

教材用の観測記録:受信回数と業務失敗は同じ数とは限らない
見えた出来事この記録で言えること追加で調べること
1回の受信後、コード内で同じ処理を3回試した内部の試行は3回。キューから受信したのはこの記録では1回。内部でどんな結果を残したか。
処理は完了したが削除されず、同じ依頼を再受信した業務の成功後にも受信回数が増える場合を考える。完了記録と削除の記録。重複の扱い。
コンソール等で調査のために受信した調査の受信も配信状態へ影響しうる。業務中の調査手順と、受信してよい範囲。

DLQ側のRedriveAllowPolicyは、どの送信元キューがそのDLQを利用できるかの設定です。送信元の「いつ移すか」と、DLQの「どこから受け入れるか」を分けます。再処理の移動操作を行う利用者の権限とも、同じ一つの設定ではありません。

保持期間は、キューの種類ごとに時計の起点を見る

次の図は、送信元に入れてから1日後にDLQへ移り、DLQの保持期間を4日とした固定例です。途中の受信や削除、設定変更は含めません。「DLQに来てから4日」と両方を同じように読むと、標準キュー側の残り時間を誤ります。

同じ1日後の移動でも、保持期限までの残りが違う固定例

教材用の固定例 / 実際の配信時刻や処理結果を予測しません

標準キュー → 標準DLQ

標準キュー → 標準DLQ — 下の出来事の一覧と合わせて読む時間軸0145日送信元で経過1日間DLQでの残り3日間
  1. 0日送信元に入る
  2. 1日DLQへ移る。起点は0日のまま
  3. 4日この例の保持期限

DLQ移動後の残りは3日。

DLQのメトリクスで見る経過時間と、元の投入からの時間を混同しない。

FIFOキュー → FIFO DLQ

FIFOキュー → FIFO DLQ — 下の出来事の一覧と合わせて読む時間軸015日送信元で経過1日間DLQでの残り4日間
  1. 0日送信元に入る
  2. 1日DLQへ移る。ここから数え直す
  3. 5日この例の保持期限

DLQ移動後の残りは4日。

FIFOであっても、DLQへの隔離と復帰が業務の厳密な順序を保つとは限らない。

標準キューでは、DLQへ移っても元の投入時刻を使って保持期限を数えます。FIFOではDLQへ移った時点で投入時刻がリセットされます。また、DLQのApproximateAgeOfOldestMessageはDLQへ移ってからの経過を表すため、標準キューではそれだけで保持期限までの残りを読めません。

戻す前に、原因・重複・順序を確かめる

「戻す」を選ぶ前の判断表
調査で分かったこと先にそろえる条件この時点で決め付けないこと
受信側が古い形式を読めない読めるようにする修正と、対象例での結果確認。移動すれば本文も自動修正される。
外部への保存は既に終わっていた同じ依頼の識別と、重複実行時の保存・通知の扱い。DLQにあるので、業務結果は一つも残っていない。
処理の順序が業務結果を左右する前後の依頼との関係と、回復後の処理順序の設計。FIFOへ戻せば、元の業務順序が必ず戻る。
原因が分からず、保持期限も近い担当者、期限、必要な調査と組織のデータ取扱い。不明なので、全件をそのまま投入し直す。

FIFOでも、DLQへ分けたメッセージを後で戻すと、元の処理順序を壊す場合があります。戻したメッセージと新しく送られたメッセージは、宛先キューが受け取る順に混在しえます。順序が重要な業務では、単に元へ戻す操作だけで回復を完了させません。

リドライブは移動する操作。原因の修正は別に行う

SQSのDLQリドライブは、隔離したメッセージを送信元や別の処理先キューへ移す仕組みです。StartMessageMoveTaskの文脈では、移動元を指すsourceはDLQ自身になります。このAPIは、ほかのSQSキューを送信元とするDLQが対象で、Lambdaの非同期呼出し等に設定したDLQへ一律に使えるものではありません。

移動先も同じキューの種類にします。SQSのリドライブ中にメッセージを選別したり、本文を書き換えたりすることはできません。戻されたメッセージには新しいMessageIdと投入時刻が付き、保持期間もリセットされます。新しいIDだから業務上も新しい依頼だ、とは判断しません。

  1. 原因の修正や必要な前提を確認し、既に起きた業務結果を調べる。
  2. 移動先、対象の取扱い、実施権限、保持と順序の条件を確認する。
  3. 通常の依頼と合わせて処理できる量を考え、流す速度を抑えて始める計画を立てる。
  4. 移動した件数だけでなく、業務処理の結果と再び隔離される依頼を確認する。
  5. 悪化した場合に止める条件を決める。移動済みの仕事を巻き戻す操作とは考えない。

進行中のリドライブをキャンセルしても、既に移動したメッセージは移動先に残ります。移動の中止と、業務で起きた保存や通知を戻すことを分けて計画します。この教材では移動タスクを開始しません。

SQSのDLQと、Lambdaの非同期処理のDLQを分ける

SQSのイベントソースマッピングは関数を同期的に呼ぶ仕組みです。SQS送信元キューで受信回数によるDLQを設ける場合と、Lambdaの非同期呼出し側に失敗時の宛先やDLQを設ける場合を分けます。名前が同じDLQでも、どの仕組みから何が入ったかを先に調べます。

隔離された理由と、回復の条件を選ぶ

選択すると、正誤と理由が表示されます。

1回の受信後、コード内で処理を3回やり直しました。maxReceiveCountのための受信回数を、これだけで3回と数えてよいですか?
答えと理由を読む

正解:受信の記録と、コード内の試行を分ける · コード内の試行と、SQSからメッセージを受信した回数は別です。

図の標準キューの例です。送信元で1日過ごしてDLQへ移り、DLQの保持期間は4日。移動後の残りは?
答えと理由を読む

正解:この例では3日 · 元の投入時刻が起点のままなので、この固定例では4日から1日を引いた3日です。

古い画像形式だけを処理できない不具合が、そのまま残っています。DLQの依頼を戻す前にすることは?
答えと理由を読む

正解:原因を直し、結果と再処理条件を確認する · 同じ条件のまま戻す前に、原因と修正結果、再処理してよい業務条件を確認します。

リドライブで一部を移動した後、タスクをキャンセルしました。移動済みの依頼は?
答えと理由を読む

正解:移動先に残るので、処理状況を確認する · 既に移動したメッセージは移動先に残ります。中止と巻戻しは別です。

確認して、自分の言葉で説明する

  1. どの送信元から、どの仕組みでDLQへ入ったかを確認する。
  2. 受信回数とコード内の試行回数を分ける。
  3. キューの種類と、保持期限の時計の起点を見る。
  4. 原因、重複、順序、移動先、流す量をそろえてから再処理を判断する。
  5. 移動件数と業務結果を区別し、悪化時に止める条件も決める。
理解を確かめる: DLQから元のキューへ戻り、DLQの件数が0になりました。回復完了と言えますか。

件数だけでは言えません。移動先での処理結果と、既に起きた副作用も確認します。

移動は業務処理の成功を意味しません。原因が残っていれば再び失敗し、重複処理や順序の問題が残る場合もあります。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。