テーマ別の解説テーマ:イベント処理の障害調査
CloudWatchのメトリクスとログの件数が違う|単位・期間・欠測を照合
差を直す前に、両方で何を1件と数えたかを確認します。 関数の失敗回数、ログの行、サンプリングした業務失敗を別々に扱います。
関数の失敗回数、ログの行、サンプリングした業務失敗を別々に扱います。
架空のLambdaメトリクスとログです。実ログや追跡情報は扱いません。
同じ単位にしてから数字を比較する
LambdaのErrorsはエラーになった呼び出しの指標です。CloudWatchのSumは期間中の値の合計で、SampleCountはデータ点の数です。
- 観測窓 → 関数の指標期間と次元をそろえる
- 関数の指標 → ログの行単位と粒度を比べる
- ログの行 → 確認する結果カバレッジを確認
- 観測窓
- 10:00から5分
- 関数の指標
- ErrorsのSumが12
- ログの行
- 同じ呼び出しで複数行
- 確認する結果
- 呼び出しIDで比較
同じ時間帯の12件と21行を読む
| 観測 | 数 | 意味 |
|---|---|---|
| Errors Sum | 12 | 失敗した呼び出し |
| 文字列ERRORの行 | 21 | Stack traceを含む複数行 |
| ログ上で失敗を確認した呼び出しID | 10 | ログ側の観測結果 |
| 2件分の差 | 原因は未確定 | 期間、漏れ、サンプリング、時刻を照合 |
呼び出しの実行時刻とログ行の出力時刻が観測窓の境界でずれることがあります。ログが一部だけなら、IDの数の差をエラー件数の誤りと決め付けません。
比較できる母集団を作る
期間・版・次元を記録。 関数の版とリージョン、メトリクスの期間、統計、ログの時間フィールドを揃えてから比較します。
再試行と拒否を分ける。 複数回の呼び出しは別に計上されます。呼び出し前のスロットリングを同じエラーの分母へ自動で足しません。
欠測の幅を確認。 ログのサンプリングや検索の漏れを確認し、比較できない部分を保留して別の観測を用意します。
固定例で確認する
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 観測窓・次元・統計をそろえる。
- ログ行と呼び出しIDを分ける。
- 残る差を検証条件とともに記録する。
理解を確かめる: ログとメトリクスのグラフを同じ件数に直す必要がありますか?
同じ単位・期間で比較し、違う指標は目的に合わせて表示します。
同じ数値になることより、何を数えたかが重要です。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件Errors、Invocations、Throttlesの分母と時刻。
確認した内容・条件PeriodとSum・SampleCountの違い。
参照した本文同じ単位にしてから数字を比較する 比較できる母集団を作る