テーマ別の解説テーマ:AWSデータ基盤とSQL Serverの連携
Kinesisの一部シャードだけ遅い|投入・読取り・処理を分ける
入力が受け付けられたかと、処理済みの位置がどれだけ遅れたかを同じ時刻で見ます。 シャードの偏りと下流の遅さから、次に調べる場所を選びます。
この教材で学ぶこと
シャードの偏りと下流の遅さから、次に調べる場所を選びます。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
入力と処理を同じ窓で比較
書込み・読取りのしきい値超過とイテレーター経過時間は別の指標です。コンシューマーが書込みDBを待つ時間も別に測ります。
- 入力 → シャード窓を固定
- シャード → 処理しきい値を照合
- 処理 → 結果回復を確認
- 入力
- キー別の配分
- シャード
- 書込みと読取り
- 処理
- 外部DB待ち
- 結果
- 経過時間と欠落確認
10分の合成観測を比べる
| 観測 | 値 | 示すこと |
|---|---|---|
| Aの入力抑制 | 0件 | 観測中の入力制限なし |
| Aの読取り抑制 | 0件 | 読取り上限の根拠なし |
| Aの処理 | DB待ち7秒・経過時間増加 | 処理側を先に検査 |
| Bの処理 | DB待ち0.2秒・安定 | Aとの比較材料 |
Aの経過時間が増える事実だけではシャード容量不足を判定できません。
評価する指標
統計を揃える。 同じストリームと時刻の指標を、取得できる粒度と消費方式に合わせて比較します。
処理の内訳を測る。 DB接続待ち、処理完了時間、再試行を別に記録します。
回復を追う。 修正後の経過時間、件数、重複と欠落を確認します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 範囲と窓を固定する。
- 投入・読取り・処理を比較する。
- 件数と遅延の回復を検査する。
理解を確かめる: 全体平均が下がればAも回復しましたか?
Aと消費側を同じ窓で追います。
集計で一部の遅れが隠れる場合があります。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件入力と読取りのしきい値超過・イテレーター経過時間。
参照した本文入力と処理を同じ窓で比較 10分の合成観測を比べる 評価する指標