テーマ別の解説テーマ:Amazon Bedrockの利用条件・データ保護・評価
Amazon Bedrockの変更を評価する|固定問題・重大な誤り・費用
平均点だけで採用すると、重大な誤案内が混ざっても見落とします。 モデルやプロンプトの変更を同じ合成課題で比較し、受入れ判定を作ります。
この教材で学ぶこと
モデルやプロンプトの変更を同じ合成課題で比較し、受入れ判定を作ります。
先に知っておくこと
架空の観測記録を読みます。実環境の操作は行いません。
評価条件を先に決める
Bedrockの評価では対象とデータセットを指定できます。目的ごとの合格基準を先に決め、問題の種類を分けて比較します。
- 入力 → 候補版を固定
- 候補 → 評価同じ評価
- 評価 → 採否再現を記録
- 入力
- 固定した合成課題
- 候補
- 現行と変更案
- 評価
- 正答と重大な誤り
- 採否
- 条件ごとに比較
架空の運用FAQの20件
| 観測 | 現行→候補 | 判断 |
|---|---|---|
| 正答 | 16 → 18 | 改善した項目を記録 |
| 重大な誤案内 | 0 → 1 | 受入れ条件に抵触 |
| p95の遅延 | 700 → 900 ms | 業務の目標と比較 |
| 記録 | 入力版・モデル・設定 | 同じ条件で再試験 |
候補の正答数は増えたものの、重要な禁止条件に違反したため保留します。
判断に必要な証拠
指標を決める 成功条件、重大な失敗、対象と代表的なデータを定義します。
入力を固定 評価用の合成文書、期待回答、設定と重複判定を記録します。
人の確認 集計に加え、重大な事例の説明とデータの妥当性を確認します。
判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 合格条件を先に決める。
- 同じ合成課題で比較する。
- 重大な事例と変更の履歴を保存する。
理解を確かめる: 合成20件が全部成功すれば本番でも保証できますか?
代表性と未確認の事例を明記して限定的に評価します。
検査した条件に限る証拠です。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。
確認した内容・条件モデルやアプリケーションを評価するための条件。
参照した本文評価条件を先に決める 架空の運用FAQの20件 判断に必要な証拠