テーマ別の解説テーマ:コンテナ・データ・料金・AIの応用演習
BedrockのRAG評価を試す|引用・版・答えの根拠
検索で取得した文書、引用表示、生成された主張は別の証拠です。
操作前の仮説
検索で取得した文書、引用表示、生成された主張は別の証拠です。
- 取得資料 → 資料の版条件を揃える
- 資料の版 → 該当箇所の根拠差分を読む
- 該当箇所の根拠 → 判定判断を検証
- 取得資料
- 引用元がある / 取得なし
- 資料の版
- 対象の版 / 以前の版
- 該当箇所の根拠
- 根拠あり / 根拠未確認
- 判定
- 固定の架空資料で、引用表示があっても未立証の場合を区別する。
条件別の結果
| 対象 | 条件・観測 | 結果・判断 |
|---|---|---|
| 試行 1 | 取得資料 引用元がある、資料の版 対象の版、該当箇所の根拠 根拠あり | 合成の一主張を裏付けました。ほかの主張は個別に検査します。 |
| 試行 2 | 取得資料 取得なし、資料の版 対象の版、該当箇所の根拠 根拠あり | 取得した根拠なし。回答の正しさを確定しません。 |
| 試行 3 | 取得資料 引用元がある、資料の版 以前の版、該当箇所の根拠 根拠あり | 引用はあるが版が古い。対象版で確認します。 |
| 試行 4 | 取得資料 引用元がある、資料の版 対象の版、該当箇所の根拠 根拠未確認 | 引用はあるものの該当箇所から主張を裏付けられません。 |
受入れの判断
定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。
初期条件と業務目標を読む。
一つの条件を変えて、判定の根拠を比べる。
扱える範囲と追加確認を記録する。
条件を変えて確かめる
定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。
合成の一主張を裏付けました。ほかの主張は個別に検査します。
{"unverified":"取得した根拠なし。回答の正しさを確定しません。","stale":"引用はあるが版が古い。対象版で確認します。","unsupported":"引用はあるものの該当箇所から主張を裏付けられません。","supported":"合成の一主張を裏付けました。ほかの主張は個別に検査します。"}判断を確かめる
選択すると、正誤と理由が表示されます。
確認して、自分の言葉で説明する
- 初期条件と業務目標を読む。
- 一つの条件を変えて、判定の根拠を比べる。
- 扱える範囲と追加確認を記録する。
理解を確かめる: 固定の架空資料で、引用表示があっても未立証の場合を区別する。
定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。
扱える範囲と追加確認を記録する。
出典と確認した条件
説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。