テーマ別の解説テーマ:イベント駆動処理の設計
バックプレッシャーとは?SQSの滞留と下流の過負荷を抑える
バックプレッシャーは、処理しきれないときに、その負荷の情報を上流へ伝えて流入を抑える考え方です。 画像変換キューを例に、下流を守る同時実行の上限と、待ち時間を抑える受付の調整を組み合わせます。
到着と処理完了の差から滞留を見積もり、キューの件数と最古メッセージの経過時間を確認して、上流と下流のどこを調整するか説明できる。
SQSのキューは、到着する仕事と処理する側の間にあります。図と計算は固定した教材用の条件で、実AWSのメトリクス値や構成変更は扱いません。
キューが吸収できるのは、処理が追いつくまでの時間
待ち行列に到着する件数が処理を終える件数を上回る間、未完了の仕事は増えます。キューで短いピークを受け止められても、流入超過が長く続くと、必要な時間内に処理できない依頼が発生します。
- 画像変換の受付 → SQSキュー受理した依頼を送る
- SQSキュー → Lambdaの処理側バッチを渡す
- Lambdaの処理側 → 下流のDB結果を保存
- SQSキュー → 画像変換の受付観測した滞留を受付判断へ反映
- 画像変換の受付
- 新規依頼の流入を調整
- SQSキュー
- 処理待ちの依頼を保持
- Lambdaの処理側
- 同時に動く処理数を制限
- 下流のDB
- 結果の保存を受け付ける
到着と完了の差から、解消に必要な時間を求める
| 区間 | 到着率 | 完了率 | 未完了件数の変化 |
|---|---|---|---|
| 最初の120秒 | 80件/秒 | 50件/秒 | 毎秒30件増え、計3,600件が残る。 |
| ピーク後 | 30件/秒 | 50件/秒 | 新規分を処理しながら毎秒20件減る。 |
| 解消まで | 30件/秒 | 50件/秒 | 3,600 ÷ 20 = 180秒。 |
ピーク後も新規依頼があるため、滞留の解消に使えるのは余力の20件/秒です。残件数を完了率50件/秒で割ると、流入が止まった場合の見積もりになります。実運用では処理時間の変化や失敗、再試行の影響を観測して計算を更新します。
件数・経過時間・下流の状態を見て調整する
SQSの ApproximateNumberOfMessagesVisible で受信可能な件数の傾向を見ます。ApproximateAgeOfOldestMessage は最古の未処理メッセージの経過秒数の目安です。処理中の件数と、依頼の受付から結果保存までの時間も合わせると、見えているキューの外で待っているかを追えます。
これらの指標には近似や集計上の制約があります。標準キューで受信と失敗を繰り返すメッセージが最古の経過時間に反映されない場合もあります。キューの最古値が下がっても、失敗や隔離の記録、完了した依頼の経過時間を確認します。
| 観測したこと | 検討する操作 | 回復を判断する記録 |
|---|---|---|
| DBの待ち時間と失敗が増加 | 同時実行を制限し、受付側で新規受理量を下げる。 | 下流の失敗率、完了率、滞留の経過時間。 |
| DBに余力があり処理上限に到達 | 依存先の余力を確認しながら処理上限を段階的に調整する。 | 完了率が上がり、下流の待ち時間が許容範囲にあるか。 |
| 優先度の低いバッチが受付を占有 | 受付枠を分け、延期できる依頼を明示的に遅らせる。 | 優先依頼の経過時間と、遅らせた件数。 |
SQSとLambdaの標準モードでは、イベントソースマッピングの最大同時実行数で、そのキューが起動する関数インスタンス数に上限を設けられます。バッチサイズや処理時間も完了率に影響するため、同時実行数をそのまま毎秒件数に読み替えません。
どの値を動かすと回復できるか選ぶ
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 同じ観測区間で、受理数と成功して完了した数を比べる。
- 最古の経過時間、処理中の件数、下流の待ち時間を照合する。
- 下流に余力があるかを確かめて、処理上限と受付量の変更を判断する。
理解を確かめる: Lambdaの同時実行を下げてDBを守れました。待ち時間も抑えるには何を確認しますか?
現在の完了率に対して受理量が多すぎないかと、最古の経過時間の傾向を確認します。
同時実行の制限だけでは新規流入は減りません。受付量を含めて調整し、成功した処理と残っている仕事を観測します。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件標準モードのイベントソース単位の最大同時実行数と、関数の予約済み同時実行数。
参照した本文件数・経過時間・下流の状態を見て調整する
確認した内容・条件受信可能件数、処理中の件数、最古の経過時間の近似と例外。
参照した本文件数・経過時間・下流の状態を見て調整する
確認した内容・条件流入超過時の滞留、バックプレッシャーと優先度による制御。
参照した本文キューが吸収できるのは、処理が追いつくまでの時間 到着と完了の差から、解消に必要な時間を求める 件数・経過時間・下流の状態を見て調整する