テーマ別の解説テーマ:Step Functions:処理の順序・分岐・再試行
AWS Step Functionsとは?Lambdaとの違いとRetry・Catchを図解
AWS Step Functionsは、複数の処理をどの順序・条件で進めるかを管理するサービスです。例えば、データを確認し、条件に合う処理を呼び、失敗したら決めた回数だけやり直し、結果を保存する流れを定義します。個々の処理を実行するLambdaなどと、処理全体を進行させる役割を分けて読みます。
小さな処理フローを読み、実作業を担う処理、条件分岐、待機、有限な再試行と失敗時の進路を説明できる。
Lambdaが要求を受けてコードを実行することと、処理が失敗する場合があること。この教材は架空の流れを読むもので、実AWSへの接続、ワークフローの作成、料金が発生する実行はしません。
Lambdaは作業をし、Step Functionsは作業の進め方を管理する
画像を受け取り、形式を調べ、必要なら縮小し、処理結果を残す例を考えます。画像を縮小するコードはLambdaなどが実行します。一方、次の処理をいつ呼ぶか、どの条件なら別の処理へ進むかは、ワークフローとして表現できます。
処理の流れを記述した定義をステートマシン、その定義に沿って一つの入力を処理する動きを実行と呼びます。同じ定義でも、画像Aを扱う実行と画像Bを扱う実行は別です。定義を書いただけで実データの処理が終わるわけではありません。
すべてのステップをLambdaで包む必要はありません。Taskは対応するAWSサービスへの連携なども表せます。必要な処理と対応する連携方式を先に確かめます。
- 進行を管理 → 作業を実行定義に沿って作業を呼び出し、結果を受け取る
- 進行を管理
- Step Functions:順序・条件・エラー時の進路
- 作業を実行
- この例のLambda:画像を確認・縮小するコード
一つの入力が、どの条件でどこへ進むかを読む
この教材では、画像の確認結果に「縮小が必要」かどうかが入っている、と与えます。必要なら縮小処理へ、不要なら結果保存へ進みます。この判定でどちらかの進路を選ぶのがChoiceです。すべての進路を同時に実行する意味ではありません。
どの条件にも当てはまらない入力も考えます。ChoiceのDefaultは、その場合の進路です。条件に一致せずDefaultもないと、次へ進めずエラーになります。図に分岐を描いたら、想定外の入力の行き先まで確認します。
- 入力を確認 → 条件で選ぶ確認した結果を渡す
- 条件で選ぶ → 画像を縮小縮小が必要
- 条件で選ぶ → 結果を残す縮小が不要
- 条件で選ぶ → 入力を見直す条件に一致しない
- 画像を縮小 → 結果を残す縮小が成功した場合
- 入力を確認
- 画像を確認した結果を使う
- 条件で選ぶ
- Choice:縮小が必要か、想定外か
- 画像を縮小
- 必要な場合だけ、この作業へ進む
- 結果を残す
- 縮小が不要な場合も、ここへ進む
- 入力を見直す
- Default:想定する条件に当てはまらない
作業・分岐・並列・待機を使い分ける
| 状態 | 役割 | この教材で読む例 |
|---|---|---|
| Task | 作業を呼び出して実行する単位 | 画像の確認や縮小など。実作業の実装や連携先は別に必要。 |
| Choice | 条件で次の進路を選ぶ | 縮小が必要かを判定する。並列実行の指示ではない。 |
| Parallel | 別々の枝として処理を進める | 別の確認処理を枝に分ける。通常の完了では各枝の終了を待つ。失敗時の扱いも別に定める。 |
| Wait | 指定した時間や時刻まで先へ進めるのを待つ | 次の処理まで間隔を置く。Lambdaのコードで待ち続ける例とは分ける。 |
再試行2回は、最初の実行を含めて最大3回
縮小処理がTransientFailureという名前で失敗した場合だけを再試行する例です。MaxAttemptsを2、最初の待ち時間を2秒、BackoffRateを2、ジッターなしと与えます。この一回の状態実行について、最初の呼出しの後に追加できる再試行は最大2回です。
{
"Retry": [
{
"ErrorEquals": [
"TransientFailure"
],
"IntervalSeconds": 2,
"MaxAttempts": 2,
"BackoffRate": 2,
"JitterStrategy": "NONE"
}
],
"Catch": [
{
"ErrorEquals": [
"TransientFailure"
],
"Next": "RecordForReview"
}
]
}ErrorEqualsは対象のエラー名、IntervalSecondsは最初の再試行までの間隔、MaxAttemptsは追加できる再試行回数です。BackoffRateで間隔の倍率を、JitterStrategyで待ち時間をランダムに変えるかを指定します。この例のNONEはランダム化しない指定です。
下表では3回とも同じエラーで失敗した、と与えます。途中で成功したら、この表の後続の再試行は行わず通常の次の状態へ進みます。2秒・4秒は再試行前の待ち時間であり、作業にかかる時間を含めた完了時刻ではありません。
| 呼出し | 内訳 | 与えた結果 | 次に読むこと |
|---|---|---|---|
| 1 | 最初の呼出し | TransientFailure | 再試行枠が残っているので2秒待つ |
| 2 | 再試行1回目 | TransientFailure | 再試行枠が残っているので4秒待つ |
| 3 | 再試行2回目 | TransientFailure | この再試行枠を使い切ったのでCatchを調べる |
Retryはやり直し、Catchはエラー時の別の進路
この例のCatchはTransientFailureに一致したとき、処理結果を「見直しが必要」として残す別の状態へ進む、とします。エラーに一致するRetryがない場合や、再試行で解決できなかった場合に、Catchの条件と進路を読みます。
Catchを通ったことだけでは、画像の縮小が成功したとは言えません。失敗を記録したり別の処理へ進んだりした結果と、当初の作業が完了した結果を区別します。別の名前のエラーには、この例のRetryやCatchが一致しないことにも注意します。
| 与えた結果の並び | 呼出し回数 | この例で次に読む進路 |
|---|---|---|
| 最初に成功 | 1回 | 通常の次の状態へ |
| TransientFailureの後に成功 | 2回 | 通常の次の状態へ |
| TransientFailureが3回 | 3回 | 一致するCatchからRecordForReviewへ |
| 別のエラー名で失敗 | 1回 | このRetry/Catchには一致しない |
StandardとExpressでは、実行の前提を確認する
Standardは長時間の処理や履歴を追う用途、Expressは多くの短いイベント処理を考えるときの候補です。最大実行時間や履歴の確認方法、課金の基準も異なるため、名前の印象だけで選びません。
Standardのexactly-onceは、ワークフローの実行モデル上の保証です。指定したRetryによる再試行は別に読みます。非同期Expressのat-least-onceでは重複した実行が起こりえます。同期Expressのat-most-onceも、必ず成功して完了するという保証ではありません。外部への書込みが絶対に一回しか起きない、という意味へ広げないでください。
| 実行方式 | 確認する実行モデル | 別に確認すること |
|---|---|---|
| Standard | exactly-once。定義したRetryは別に扱う | 再試行や再開、外部作業の結果 |
| 非同期Express | at-least-once。重複実行が起こりうる | 同じ要求を再び扱う場合の影響 |
| 同期Express | at-most-once。必ず成功するという意味ではない | 失敗した結果と必要な復旧の判断 |
一部分のやり直しと、新しい実行を区別する
Retryは状態内の再試行、新しい実行は別の実行の開始です。Standardのredriveは、対応条件を満たす失敗した実行を、残っている結果や履歴を使って再開する機能です。同じ言葉で「やり直す」と呼んでも、対象や残る結果は異なります。
redriveで再実行される状態のRetry回数はリセットされる場合があります。枝やエラーによって再実行の範囲も異なります。前の表の最大3回を、業務全体で今後も最大3回という保証にしないでください。
同じ要求を再度扱っても、必要な結果が重複しないようにする性質を冪等性と呼びます。例えば処理対象を識別し、同じ対象に保存済みの結果があるかを確認する設計を検討します。この教材の図だけで、実際の保存先や決済などの重複防止を検証したことにはなりません。
流れ・回数・失敗時の進路を説明する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 定義された流れと、一つの入力を扱う実行を分ける。
- 条件に一致する進路と、想定外の場合の進路を読む。
- エラー名・追加の再試行回数・使い切った後の進路を確認する。
- 別の実行や再開、外部作業の結果まで分かったかを区別する。
理解を確かめる: Retryを2回にすれば、業務全体の呼出しはずっと3回以下?
単一の状態実行の上限と、業務全体の累計は別に考える。
この例では最初の1回と追加2回で最大3回です。一方、新しい実行やStandardのredriveは別に読み、対象状態の再試行回数がリセットされる条件も確認します。外部への作業が重複しても問題が起きないかは、保存先などの設計と実際の結果で確かめます。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件ステートマシン・状態・実行の用語と、他サービスや外部ワーカーへ作業を連携する役割。リージョンや変動する上限値の比較は対象外。
確認した内容・条件Taskは作業の単位。Lambda・対応AWSサービス等との連携を区別する。連携先の作業や許可の成功を検証していない。
参照した本文Lambdaは作業をし、Step Functionsは作業の進め方を管理する 作業・分岐・並列・待機を使い分ける
確認した内容・条件条件に応じた次の状態とDefault。どの条件にも一致せずDefaultもない場合の遷移エラー。例ではJSONPath/JSONata式を実行しない。
確認した内容・条件通常の進行で各枝の終了を待つこと、未処理エラー時の状態の失敗と、呼出し済みLambda等が直ちには止まらないことを区別する。
参照した本文作業・分岐・並列・待機を使い分ける
確認した内容・条件相対時間または指定時刻まで進行を待つ状態。実行方式ごとの制約がある。呼出し先の作業時間を含めた完了時刻を保証しない。
参照した本文作業・分岐・並列・待機を使い分ける
確認した内容・条件TaskのErrorEqualsとRetry/Catchの順序、MaxAttemptsの追加再試行回数、間隔・倍率・ジッター。有限な一状態の合成例だけを別計算し、全エラー処理や実AWS実行を検証しない。
確認した内容・条件Standardの実行モデルと指定Retryの例外、非同期Expressと同期Expressの実行保証を分ける。外部副作用の重複防止や適用時の費用を保証しない。
確認した内容・条件対象となるStandard実行の再開と結果の保持、状態・枝・エラーによる再実行範囲の違い、対象状態のRetry回数リセット。操作手順や再開の実行は行わない。
参照した本文一部分のやり直しと、新しい実行を区別する
確認した内容・条件呼出し元・経由するサービスによって再試行の主体が異なることと、同じイベントを複数回扱う際の副作用。Lambda自身の非同期・キュー設定の詳細は既存教材へ案内する。
参照した本文一部分のやり直しと、新しい実行を区別する