INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:Step Functions:処理の順序・分岐・再試行

AWS Step Functionsとは?Lambdaとの違いとRetry・Catchを図解

AWS Step Functionsは、複数の処理をどの順序・条件で進めるかを管理するサービスです。例えば、データを確認し、条件に合う処理を呼び、失敗したら決めた回数だけやり直し、結果を保存する流れを定義します。個々の処理を実行するLambdaなどと、処理全体を進行させる役割を分けて読みます。

この教材で学ぶこと

小さな処理フローを読み、実作業を担う処理、条件分岐、待機、有限な再試行と失敗時の進路を説明できる。

先に知っておくこと

Lambdaが要求を受けてコードを実行することと、処理が失敗する場合があること。この教材は架空の流れを読むもので、実AWSへの接続、ワークフローの作成、料金が発生する実行はしません。

Lambdaは作業をし、Step Functionsは作業の進め方を管理する

画像を受け取り、形式を調べ、必要なら縮小し、処理結果を残す例を考えます。画像を縮小するコードはLambdaなどが実行します。一方、次の処理をいつ呼ぶか、どの条件なら別の処理へ進むかは、ワークフローとして表現できます。

処理の流れを記述した定義をステートマシン、その定義に沿って一つの入力を処理する動きを実行と呼びます。同じ定義でも、画像Aを扱う実行と画像Bを扱う実行は別です。定義を書いただけで実データの処理が終わるわけではありません。

すべてのステップをLambdaで包む必要はありません。Taskは対応するAWSサービスへの連携なども表せます。必要な処理と対応する連携方式を先に確かめます。

進行を管理する役割と、実作業をする役割
進行を管理する役割と、実作業をする役割1: 進行を管理 — 定義に沿って作業を呼び出し、結果を受け取る — 作業を実行1進行を管理作業を実行進行を管理する役割と、実作業をする役割1: 進行を管理 — 定義に沿って作業を呼び出し、結果を受け取る — 作業を実行1進行を管理作業を実行
  1. 進行を管理 → 作業を実行定義に沿って作業を呼び出し、結果を受け取る
進行を管理
Step Functions:順序・条件・エラー時の進路
作業を実行
この例のLambda:画像を確認・縮小するコード

一つの入力が、どの条件でどこへ進むかを読む

この教材では、画像の確認結果に「縮小が必要」かどうかが入っている、と与えます。必要なら縮小処理へ、不要なら結果保存へ進みます。この判定でどちらかの進路を選ぶのがChoiceです。すべての進路を同時に実行する意味ではありません。

どの条件にも当てはまらない入力も考えます。ChoiceのDefaultは、その場合の進路です。条件に一致せずDefaultもないと、次へ進めずエラーになります。図に分岐を描いたら、想定外の入力の行き先まで確認します。

確認結果によって、縮小する進路と省く進路を選ぶ
確認結果によって、縮小する進路と省く進路を選ぶ1: 入力を確認 — 確認した結果を渡す — 条件で選ぶ. 2: 条件で選ぶ — 縮小が必要 — 画像を縮小. 3: 条件で選ぶ — 縮小が不要 — 結果を残す. 4: 条件で選ぶ — 条件に一致しない — 入力を見直す. 5: 画像を縮小 — 縮小が成功した場合 — 結果を残す入力を確認条件で選ぶ画像を縮小結果を残す入力を見直す12345確認結果によって、縮小する進路と省く進路を選ぶ1: 入力を確認 — 確認した結果を渡す — 条件で選ぶ. 2: 条件で選ぶ — 縮小が必要 — 画像を縮小. 3: 条件で選ぶ — 縮小が不要 — 結果を残す. 4: 条件で選ぶ — 条件に一致しない — 入力を見直す. 5: 画像を縮小 — 縮小が成功した場合 — 結果を残す入力を確認条件で選ぶ画像を縮小結果を残す入力を見直す12345
  1. 入力を確認 → 条件で選ぶ確認した結果を渡す
  2. 条件で選ぶ → 画像を縮小縮小が必要
  3. 条件で選ぶ → 結果を残す縮小が不要
  4. 条件で選ぶ → 入力を見直す条件に一致しない
  5. 画像を縮小 → 結果を残す縮小が成功した場合
入力を確認
画像を確認した結果を使う
条件で選ぶ
Choice:縮小が必要か、想定外か
画像を縮小
必要な場合だけ、この作業へ進む
結果を残す
縮小が不要な場合も、ここへ進む
入力を見直す
Default:想定する条件に当てはまらない

作業・分岐・並列・待機を使い分ける

同じ「次へ進む」でも役割が異なる四つの状態
状態役割この教材で読む例
Task作業を呼び出して実行する単位画像の確認や縮小など。実作業の実装や連携先は別に必要。
Choice条件で次の進路を選ぶ縮小が必要かを判定する。並列実行の指示ではない。
Parallel別々の枝として処理を進める別の確認処理を枝に分ける。通常の完了では各枝の終了を待つ。失敗時の扱いも別に定める。
Wait指定した時間や時刻まで先へ進めるのを待つ次の処理まで間隔を置く。Lambdaのコードで待ち続ける例とは分ける。

再試行2回は、最初の実行を含めて最大3回

縮小処理がTransientFailureという名前で失敗した場合だけを再試行する例です。MaxAttemptsを2、最初の待ち時間を2秒、BackoffRateを2、ジッターなしと与えます。この一回の状態実行について、最初の呼出しの後に追加できる再試行は最大2回です。

Task状態のRetry/Catchだけを抜き出した読解用の断片(実行しない)長い行は横スクロールで読めます。コード欄では左右キーを使えます。
{
  "Retry": [
    {
      "ErrorEquals": [
        "TransientFailure"
      ],
      "IntervalSeconds": 2,
      "MaxAttempts": 2,
      "BackoffRate": 2,
      "JitterStrategy": "NONE"
    }
  ],
  "Catch": [
    {
      "ErrorEquals": [
        "TransientFailure"
      ],
      "Next": "RecordForReview"
    }
  ]
}

ErrorEqualsは対象のエラー名、IntervalSecondsは最初の再試行までの間隔、MaxAttemptsは追加できる再試行回数です。BackoffRateで間隔の倍率を、JitterStrategyで待ち時間をランダムに変えるかを指定します。この例のNONEはランダム化しない指定です。

下表では3回とも同じエラーで失敗した、と与えます。途中で成功したら、この表の後続の再試行は行わず通常の次の状態へ進みます。2秒・4秒は再試行前の待ち時間であり、作業にかかる時間を含めた完了時刻ではありません。

3回とも同じエラーで失敗したと与える読解結果
呼出し内訳与えた結果次に読むこと
1最初の呼出しTransientFailure再試行枠が残っているので2秒待つ
2再試行1回目TransientFailure再試行枠が残っているので4秒待つ
3再試行2回目TransientFailureこの再試行枠を使い切ったのでCatchを調べる

Retryはやり直し、Catchはエラー時の別の進路

この例のCatchはTransientFailureに一致したとき、処理結果を「見直しが必要」として残す別の状態へ進む、とします。エラーに一致するRetryがない場合や、再試行で解決できなかった場合に、Catchの条件と進路を読みます。

Catchを通ったことだけでは、画像の縮小が成功したとは言えません。失敗を記録したり別の処理へ進んだりした結果と、当初の作業が完了した結果を区別します。別の名前のエラーには、この例のRetryやCatchが一致しないことにも注意します。

途中で成功する場合と、違うエラーの場合も分ける
与えた結果の並び呼出し回数この例で次に読む進路
最初に成功1回通常の次の状態へ
TransientFailureの後に成功2回通常の次の状態へ
TransientFailureが3回3回一致するCatchからRecordForReviewへ
別のエラー名で失敗1回このRetry/Catchには一致しない

StandardとExpressでは、実行の前提を確認する

Standardは長時間の処理や履歴を追う用途、Expressは多くの短いイベント処理を考えるときの候補です。最大実行時間や履歴の確認方法、課金の基準も異なるため、名前の印象だけで選びません。

Standardのexactly-onceは、ワークフローの実行モデル上の保証です。指定したRetryによる再試行は別に読みます。非同期Expressのat-least-onceでは重複した実行が起こりえます。同期Expressのat-most-onceも、必ず成功して完了するという保証ではありません。外部への書込みが絶対に一回しか起きない、という意味へ広げないでください。

Expressも同期・非同期を分けて確認する
実行方式確認する実行モデル別に確認すること
Standardexactly-once。定義したRetryは別に扱う再試行や再開、外部作業の結果
非同期Expressat-least-once。重複実行が起こりうる同じ要求を再び扱う場合の影響
同期Expressat-most-once。必ず成功するという意味ではない失敗した結果と必要な復旧の判断

一部分のやり直しと、新しい実行を区別する

Retryは状態内の再試行、新しい実行は別の実行の開始です。Standardのredriveは、対応条件を満たす失敗した実行を、残っている結果や履歴を使って再開する機能です。同じ言葉で「やり直す」と呼んでも、対象や残る結果は異なります。

redriveで再実行される状態のRetry回数はリセットされる場合があります。枝やエラーによって再実行の範囲も異なります。前の表の最大3回を、業務全体で今後も最大3回という保証にしないでください。

同じ要求を再度扱っても、必要な結果が重複しないようにする性質を冪等性と呼びます。例えば処理対象を識別し、同じ対象に保存済みの結果があるかを確認する設計を検討します。この教材の図だけで、実際の保存先や決済などの重複防止を検証したことにはなりません。

流れ・回数・失敗時の進路を説明する

選択すると、正誤と理由が表示されます。

画像を縮小するコードをLambdaで動かす例です。Step Functionsの役割は?
答えと理由を読む

正解:Lambdaなどを呼ぶ順序や条件、失敗時の進路を管理する · 個別の作業の実行を、定義した流れに従って進めます。

例のMaxAttemptsは2。最初から同じエラーで失敗し続けると、この状態で何回呼び出す?
答えと理由を読む

正解:最初の1回と再試行2回で最大3回 · 単一の状態実行の例では1+2です。途中の成功や別のエラー、新規実行やredriveは分けます。

3回ともTransientFailureで失敗し、例のCatchに一致しました。何が分かる?
答えと理由を読む

正解:見直しが必要という結果を残す別の進路へ進む · 元の作業の成功ではなく、定めたエラー時の処理へ進んだと読みます。

前の表が最大3回なら、対象への書込みも将来を含めて絶対に3回以下?
答えと理由を読む

正解:いいえ。新規実行やredrive等を分け、重複時の扱いを設計する · 再試行枠のリセットや実行方式を確認し、外部への副作用をどう扱うかを別に検討します。

このTaskで別のエラー名が発生しました。ほかに該当するエラー処理はない、と与えると?
答えと理由を読む

正解:このRetry/Catchに一致せず、実行は失敗する · ほかに該当する処理がない条件では、そのエラーが処理されず実行は失敗します。

確認して、自分の言葉で説明する

  1. 定義された流れと、一つの入力を扱う実行を分ける。
  2. 条件に一致する進路と、想定外の場合の進路を読む。
  3. エラー名・追加の再試行回数・使い切った後の進路を確認する。
  4. 別の実行や再開、外部作業の結果まで分かったかを区別する。
理解を確かめる: Retryを2回にすれば、業務全体の呼出しはずっと3回以下?

単一の状態実行の上限と、業務全体の累計は別に考える。

この例では最初の1回と追加2回で最大3回です。一方、新しい実行やStandardのredriveは別に読み、対象状態の再試行回数がリセットされる条件も確認します。外部への作業が重複しても問題が起きないかは、保存先などの設計と実際の結果で確かめます。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。