INFRASTRUCTURE LEARNINGインフラ学習
インフラ大全インフラ大全IT INFRASTRUCTURE / LEARNING
インフラ学習ガイド
教材・演習を探す/

Escで閉じる · 検索語は送信しません

LEARNINGEN

テーマ別の解説テーマ:コンテナ・データ・料金・AIの応用演習

BedrockのRAG評価を試す|引用・版・答えの根拠

検索で取得した文書、引用表示、生成された主張は別の証拠です。

この教材で学ぶこと

固定の架空資料で、引用表示があっても未立証の場合を区別する。

先に知っておくこと

架空の事例で条件を比較します。

演習を始める →

操作前の仮説

検索で取得した文書、引用表示、生成された主張は別の証拠です。

入力条件から判定まで
入力条件から判定まで1: 取得資料 — 条件を揃える — 資料の版. 2: 資料の版 — 差分を読む — 該当箇所の根拠. 3: 該当箇所の根拠 — 判断を検証 — 判定123取得資料資料の版該当箇所の根拠判定入力条件から判定まで1: 取得資料 — 条件を揃える — 資料の版. 2: 資料の版 — 差分を読む — 該当箇所の根拠. 3: 該当箇所の根拠 — 判断を検証 — 判定123取得資料資料の版該当箇所の根拠判定
  1. 取得資料 → 資料の版条件を揃える
  2. 資料の版 → 該当箇所の根拠差分を読む
  3. 該当箇所の根拠 → 判定判断を検証
取得資料
引用元がある / 取得なし
資料の版
対象の版 / 以前の版
該当箇所の根拠
根拠あり / 根拠未確認
判定
固定の架空資料で、引用表示があっても未立証の場合を区別する。

条件別の結果

学習用の観測記録
対象条件・観測結果・判断
試行 1取得資料 引用元がある、資料の版 対象の版、該当箇所の根拠 根拠あり合成の一主張を裏付けました。ほかの主張は個別に検査します。
試行 2取得資料 取得なし、資料の版 対象の版、該当箇所の根拠 根拠あり取得した根拠なし。回答の正しさを確定しません。
試行 3取得資料 引用元がある、資料の版 以前の版、該当箇所の根拠 根拠あり引用はあるが版が古い。対象版で確認します。
試行 4取得資料 引用元がある、資料の版 対象の版、該当箇所の根拠 根拠未確認引用はあるものの該当箇所から主張を裏付けられません。

受入れの判断

定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。

初期条件と業務目標を読む。

一つの条件を変えて、判定の根拠を比べる。

扱える範囲と追加確認を記録する。

条件を変えて確かめる

定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。

合成の一主張を裏付けました。ほかの主張は個別に検査します。

判断を確かめる

選択すると、正誤と理由が表示されます。

試行 1の条件で、どの結果になりますか?
答えと理由を読む

正解:合成の一主張を裏付けました。ほかの主張は個別に検査します。 · 取得資料 引用元がある、資料の版 対象の版、該当箇所の根拠 根拠あり → 合成の一主張を裏付けました。ほかの主張は個別に検査します。

試行 2の条件で、どの結果になりますか?
答えと理由を読む

正解:取得した根拠なし。回答の正しさを確定しません。 · 取得資料 取得なし、資料の版 対象の版、該当箇所の根拠 根拠あり → 取得した根拠なし。回答の正しさを確定しません。

試行 3の条件で、どの結果になりますか?
答えと理由を読む

正解:引用はあるが版が古い。対象版で確認します。 · 取得資料 引用元がある、資料の版 以前の版、該当箇所の根拠 根拠あり → 引用はあるが版が古い。対象版で確認します。

確認して、自分の言葉で説明する

  1. 初期条件と業務目標を読む。
  2. 一つの条件を変えて、判定の根拠を比べる。
  3. 扱える範囲と追加確認を記録する。
理解を確かめる: 固定の架空資料で、引用表示があっても未立証の場合を区別する。

定義済みの文書状態を比較します。LLMや検索基盤へ接続せず、実文書を扱いません。

扱える範囲と追加確認を記録する。

出典と確認した条件

説明に用いた公式資料を、確認した内容・条件と本文の参照箇所に分けてまとめています。専門家による監修・実際のAWSとの比較検証は行っていません。