INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:Amazon Bedrockの利用条件・データ保護・評価

Amazon Bedrockの変更を評価する|固定問題・重大な誤り・費用

平均点だけで採用すると、重大な誤案内が混ざっても見落とします。 モデルやプロンプトの変更を同じ合成課題で比較し、受入れ判定を作ります。

この教材で学ぶこと

モデルやプロンプトの変更を同じ合成課題で比較し、受入れ判定を作ります。

先に知っておくこと

架空の観測記録を読みます。実環境の操作は行いません。

評価条件を先に決める

Bedrockの評価では対象とデータセットを指定できます。目的ごとの合格基準を先に決め、問題の種類を分けて比較します。

結果から採否を判断
結果から採否を判断1: 入力 — 版を固定 — 候補. 2: 候補 — 同じ評価 — 評価. 3: 評価 — 再現を記録 — 採否123入力候補評価採否結果から採否を判断1: 入力 — 版を固定 — 候補. 2: 候補 — 同じ評価 — 評価. 3: 評価 — 再現を記録 — 採否123入力候補評価採否
  1. 入力 → 候補版を固定
  2. 候補 → 評価同じ評価
  3. 評価 → 採否再現を記録
入力
固定した合成課題
候補
現行と変更案
評価
正答と重大な誤り
採否
条件ごとに比較

架空の運用FAQの20件

採用条件は通常課題の正答以外に、危険な誤案内の0件が必須。
観測現行→候補判断
正答16 → 18改善した項目を記録
重大な誤案内0 → 1受入れ条件に抵触
p95の遅延700 → 900 ms業務の目標と比較
記録入力版・モデル・設定同じ条件で再試験

候補の正答数は増えたものの、重要な禁止条件に違反したため保留します。

判断に必要な証拠

指標を決める 成功条件、重大な失敗、対象と代表的なデータを定義します。

入力を固定 評価用の合成文書、期待回答、設定と重複判定を記録します。

人の確認 集計に加え、重大な事例の説明とデータの妥当性を確認します。

判断を確かめる

選択すると、正誤と理由が表示されます。

18正答で現行16より高い。採用しますか?
答えと理由を読む

正解:保留して重大事例を確認 · 重大条件が不合格です。

比較時に固定するものは?
答えと理由を読む

正解:課題の版と評価基準 · 変更した要因以外を揃えます。

再確認後に残す記録は?
答えと理由を読む

正解:版、条件、重大事例と採否 · 経緯と範囲を再現します。

確認して、自分の言葉で説明する

  1. 合格条件を先に決める。
  2. 同じ合成課題で比較する。
  3. 重大な事例と変更の履歴を保存する。
理解を確かめる: 合成20件が全部成功すれば本番でも保証できますか?

代表性と未確認の事例を明記して限定的に評価します。

検査した条件に限る証拠です。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。