テーマ別の解説テーマ:SQS:再配信・保持・回復
SQS可視性タイムアウトとは?再配信・削除・処理時間を図解
SQSの可視性タイムアウトは、受信したメッセージを一時的にほかの受信者から見えなくする時間です。処理を止める制限時間や、処理成功の通知ではありません。メッセージの受信、業務処理、キューからの削除を分け、同じ仕事がもう一度届く場合を時間軸で読みます。
固定の配信例から、可視性の期限、処理完了、削除の時点を区別し、期限切れや重複に備えて確認すべき条件を説明できる。
キューが仕事の依頼をため、コンシューマーと呼ぶ受信側がそれを取り出して処理すること。このページでも順に説明します。数値は教材用の固定例です。AWSアカウント、メッセージ本文、認証情報は入力せず、キューの作成やAPI呼出しもしません。
受信・業務処理・削除は、三つの別の出来事
Amazon SQS(Simple Queue Service)は、メッセージをやり取りするためのキューサービスです。依頼を送る側をプロデューサー、受信して仕事を進める側をコンシューマーと呼びます。ReceiveMessageで受け取ることと、DeleteMessageでキューから削除することは別です。
教材では、届いた依頼に応じて画像を保存する処理を考えます。保存が終わった、保存結果を記録した、キューからメッセージを削除した、のどこまで確認できたかを分けます。業務処理が終わったという記録だけで、削除まで成功したとは判断しません。
| 出来事 | 分かること | それだけでは分からないこと |
|---|---|---|
| 受信 | コンシューマーにメッセージが渡った。可視性の時間が始まる。 | 業務処理が終わったか。 |
| 業務処理の完了 | アプリケーションが意図した結果を残したかを、業務側で確かめる。 | キューからの削除が完了したか。 |
| キューから削除 | その受信に対応する削除操作を行う。 | 標準キューで将来の重複配信が絶対にないか。 |
30秒の期限を置き、三つの配信例を比べる
ここでは最初の受信を0秒、可視性の期限を30秒とします。通信遅延、保持期限、DLQへの移動などはこの図の計算に含めません。再受信の時点は説明のために置いた例で、実際にその時刻に配信されるという予測ではありません。
教材用の固定例 / 実際の配信時刻や処理結果を予測しません
例A:処理後に削除
- 0秒Aが受信
- 20秒業務処理が完了
- 25秒削除が完了
この例では期限前に削除。30秒の期限切れを理由とする再受信には進まない。
標準キュー全体の重複配信がなくなる、という保証ではない。
例B:処理したが削除せず
- 0秒Aが受信
- 20秒業務処理が完了
- 30秒再び受信可能
- 35秒Bが受信する例
仕事は済んでいても、未削除なら再び受け取れる状態になる。
業務結果を二重に作らない扱いが必要。
例C:処理中に期限切れ
- 0秒Aが受信
- 30秒Aの処理中に期限切れ
- 35秒Bも受信する例
- 45秒Aの業務処理が完了
期限が切れてもAの仕事は止まらない。別の受信と業務処理が重なる例。
可視性を長くするだけで、外部の保存や通知を一度だけにできるとは限らない。
例Bと例Cはどちらも30秒で再受信可能になりますが、違うのは元の業務処理が終わっているかです。Bでは処理済みの仕事を再び行う危険、Cでは二つの処理が重なる危険を読み取ります。メッセージの状態だけから業務結果を推測しないことが共通点です。
時間を変えるときは、いつから数えるかを読む
可視性の時間は、処理に加えて削除までに必要な時間を考えて決めます。短すぎれば処理中に再受信可能になり、長すぎれば未処理の仕事の再開が遅れます。処理時間が変わる場合は、進行中に期限を調整する方法もあります。
| 時点 | この例の操作 | 読み取る期限 |
|---|---|---|
| 0秒 | 60秒の可視性で受信 | 当初は60秒の時点。 |
| 15秒 | その受信について、変更後の時間を10秒にする | 変更した15秒から10秒後。25秒の時点。 |
| 次の受信 | 前の受信時の10秒を、そのまま引き継ぐとは考えない | その受信に適用されるキュー設定や指定を改めて確認。 |
ChangeMessageVisibilityの時間は変更時から数えます。特定の受信について変更した値は、次回の受信にも続く恒久設定ではありません。また、最初の受信からの12時間という上限は、延長するたびに最初から数え直せるものではありません。
削除で使うのはMessageIdではなく、受信時に返るReceiptHandleです。同じメッセージでも受信ごとに異なるため、最新の受信に対応するものを扱います。古い値による削除要求は成功しても、削除されない場合があります。ここでは実際の値を貼り付けたりAPIを試したりしません。
再配信を考えるときは、外部に残した結果も見る
同じ依頼を受け直しても、意図しない結果が増えない性質を冪等性(べきとうせい)と呼びます。標準キューでは、削除後にも別の保存コピーが配信される場合があります。可視性の期限を調整することと、重複して届いたときの業務結果を整えることは別の対策です。
| 見えている記録 | 確認すること | 早合点しないこと |
|---|---|---|
| 画像を保存した直後に処理が止まった | 保存結果と、依頼を処理済みとして扱う記録の関係。 | 記録がないので、画像も保存されていない。 |
| 同じ仕事の依頼を再受信した | 業務上の同じ依頼を識別できるか。既に残した結果を確認できるか。 | 別のReceiptHandleなので、別の仕事だ。 |
| 期限を長くした | 処理と削除に必要な時間、失敗時の再開までの待ち時間。 | 時間を延ばせば、二重保存の対策は不要だ。 |
Lambdaで読む場合も、再試行の主体を区別する
Lambdaのイベントソースマッピングを使う場合は、マッピングがSQSをポーリングし、複数メッセージのバッチを関数へ同期的に渡します。バッチ処理が成功すると、Lambdaがそのメッセージを削除します。アプリケーションが直接受信・削除する例と、役割の担当が変わります。
既定では、バッチ処理でエラーが起きると、成功済みのものを含むバッチのメッセージが可視性の期限後に再び見えるようになります。一部の失敗だけを報告する部分バッチ応答は、成功済みのものを再処理しないための仕組みです。設定と関数側の応答を合わせて確認します。
| 場面 | この教材で分ける単位 |
|---|---|
| SQSの再配信 | 削除されていないメッセージを、再び受信する。 |
| Lambdaの非同期呼出し | 関数の非同期呼出しに対する再試行。SQSマッピングとは条件が違う。 |
| Step FunctionsのRetry | ワークフロー内の対象ステートを再試行する。SQSの可視性設定と同じカウンターではない。 |
調べる順番と、変更前に残す確認
- 直接受信するアプリケーションか、Lambdaのイベントソースマッピングかを分ける。
- 受信、業務結果、削除の時点を同じ依頼について照合する。
- 期限が切れた時点で元の処理が続いていたかを確認する。
- 重複受信時に外部の保存・通知・更新がどう扱われるかを調べる。
- 時間や再処理の設定を変える場合は、担当者・影響・確認方法・戻す条件をそろえる。
何度受信しても完了できない依頼は、原因を調べるために別のキューへ隔離する設計を検討します。これが次に学ぶDLQです。期限が切れたという一事だけで、業務の失敗回数やDLQへ移る時点まで確定するわけではありません。
時点と主体を変えて、次に起きることを読む
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 受信・業務処理・削除の三つの時点を分ける。
- 期限が切れたとき、元の仕事が続いているかを読む。
- 可視性の調整と、重複した業務結果への対策を分ける。
- 直接受信とLambdaのバッチ処理で、担当と失敗の単位を確認する。
理解を確かめる: 処理が終わるまで可視性を延ばせば、同じ仕事が二度実行される心配はなくなりますか。
なくなりません。期限と削除に加え、重複受信時の業務結果を扱います。
可視性は一時的な配信状態で、標準キューは厳密な一度きりの配信を保証しません。保存や通知がどこまで終わったかも分けます。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件一時的な不可視、期限と処理・削除の時間。重複配信を絶対に防ぐ保証ではない。実キューや配信時刻は未検証。
確認した内容・条件受信で返るReceiptHandle。受信と業務処理・削除を分ける。API呼出し・実メッセージの検証はしない。
確認した内容・条件MessageIdではなく最新の受信のReceiptHandle。古い値は要求成功でも削除されない場合がある。標準キューの削除後の再配信も区別。
確認した内容・条件変更時から時間を数える。受信ごとの変更値は恒久設定ではなく、全体の上限をリセットしない。APIは実行しない。
参照した本文時間を変えるときは、いつから数えるかを読む
確認した内容・条件標準キューの保存コピーによる再配信と冪等な扱い。業務全体を厳密に一度だけにする実装は行っていない。
確認した内容・条件ポーリング・同期バッチ呼出し・成功時削除、既定のバッチ失敗と部分バッチ応答。実関数やマッピングは作成しない。
参照した本文Lambdaで読む場合も、再試行の主体を区別する