ゴールデンデータセット (正解データ集)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。社内FAQ 200件に正解回答を付与し、RAG導入前後の一致率を比較する。/問い合わせ分類タスクで、境界事例50件を含むゴールデンデータセットを月次更新する。

ゴールデンデータセット (正解データ集)

Q: ゴールデンデータセット (正解データ集)とは何ですか？

ゴールデンデータセットとは AI の出力精度を測るために人手で作った「模範解答付き」の評価用データ集のこと。ゴールデンデータセットとは、 入力と正解 (期待される出力) をセットにした評価専用のデータ集のことで、 モデルの精度・RAG の回答品質・プロンプト変更の影響を数値で比較する際の 業界標準の物差しとして使われる。 質問と模範解答のペアを人手 (または熟練者レビュー) で作成し、 生成結果と突き合わせてスコア化する。

読み: ごーるでんでーたせっと

最終更新: 2026-07-15・AI PICKS編集部

定義

ゴールデンデータセットとは AI の出力精度を測るために人手で作った「模範解答付き」の評価用データ集のこと。

ゴールデンデータセット (正解データ集)とは — 詳しく解説

ゴールデンデータセットとは、入力と正解 (期待される出力) をセットにした評価専用のデータ集のことで、モデルの精度・RAG の回答品質・プロンプト変更の影響を数値で比較する際の業界標準の物差しとして使われる。質問と模範解答のペアを人手 (または熟練者レビュー) で作成し、生成結果と突き合わせてスコア化する。落とし穴は「作って終わり」にしてしまうこと — 実運用では業務内容や用語が半年〜1 年で変化するため、定期的な更新を怠ると現場の実態とズレたまま高スコアが出続ける「形骸化」が起きやすい。コスト面では 100〜300 件規模の初期構築で数十万円〜が相場感とされ、件数より「境界事例 (エッジケース) をどれだけ含むか」の質が精度に直結する。現場でのモデル・プロンプト選びでは、汎用ベンチマークではなく自社データで作ったゴールデンデータセットでの比較を優先するのが定石とされる。