ゴールデンデータセット (正解データ集)の定義
ゴールデンデータセットとは、AIの出力が正しいかを測るために、入力と人が確かめた正解(模範解答)をセットにした評価用のデータ集のことです。ゴールデンデータ、ゴールドセットとも呼ばれます。
- 英語表記・別名
- Golden dataset(gold set、reference set、ゴールデンデータ)
- 中身
- AIに入れる入力と、専門知識のある人が確認した正解の出力(または合否の基準)の組
- 主な用途
- プロンプトやモデルを変える前後の精度比較、RAGの回答品質チェック、変更で性能が落ちていないかの回帰テスト
- 作るときの基本
- 実際の利用に近い多様な質問を集め、簡単な例だけでなく、あいまいな入力や過去に失敗した例も入れる(AWSのガイダンス)
- 件数の目安
- 素早い確認用なら数十件、全体の回帰テスト用なら数百〜1,000件程度(Langfuseのガイド)
- アノテーションでの使い方
- 人がつけたラベルの品質を測る「お手本」としても使われる。LabelboxのBenchmark機能が代表例
ゴールデンデータセット (正解データ集)とは(詳しく解説)
ゴールデンデータセットは、AIの答えが合っているかを確かめるための「模範解答つきの問題集」です。AIに入れる質問などの入力と、専門知識のある人が確認した正解をセットにして作ります。英語ではgolden datasetのほか、gold setやreference setとも呼ばれます。 使い道は、プロンプト(AIへの指示文)やモデルを変えたときの比較です。同じ問題集を新旧の設定で解かせ、正解との一致を数字で比べます。目で見て「良くなった気がする」と判断するより、どこが良くなり、どこが悪くなったかがはっきりします。RAG(社内資料を読ませて答えさせる仕組み)の回答品質のチェックにもよく使われます。 作るときは、実際の使われ方に近い質問を集めることが大事です。AWSのガイダンスでも、簡単な質問だけでなく複雑な質問やあいまいな入力まで含めるよう勧めています。件数は、Langfuseのガイドによると素早い確認用なら数十件、全体の回帰テスト用なら数百〜1,000件程度が目安です。 よくある失敗は、作って終わりにすることです。業務や利用者の質問は変わっていくので、本番で見つかった失敗例を足し続けます。なお、データにラベルをつけるアノテーション作業でも、作業者の正確さを測るお手本としてゴールデンデータが使われます。
ゴールデンデータセット (正解データ集)のよくある質問
Q. ゴールデンデータとゴールデンデータセットは同じ意味ですか?
ほぼ同じ意味です。どちらも人が確かめた正解つきのデータを指します。1件ずつの正解データをゴールデンデータ、それを集めた評価セットをゴールデンデータセットと呼び分けることもあります。
Q. ゴールデンデータセットは何件くらい必要ですか?
使い道で変わります。Langfuseのガイドでは、変更ごとの素早い確認なら数十件、全体の回帰テストなら数百〜1,000件程度が目安とされています。件数より、失敗しやすい例をどれだけ入れるかが大切です。
Q. ゴールデンデータセットは一度作れば終わりですか?
いいえ、育て続けるものです。本番で新しい失敗が見つかるたびに、その例を追加していきます。古いままだと、点数は高いのに実際の使われ方とずれていきます。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「ゴールデンデータセット (正解データ集)とは」 https://aipicks.jp/glossary/golden-dataset
ゴールデンデータセット (正解データ集)の使用例
- 社内FAQ 200件に正解回答を付与し、RAG導入前後の一致率を比較する。
- 問い合わせ分類タスクで、境界事例50件を含むゴールデンデータセットを月次更新する。
ゴールデンデータセット (正解データ集)に関連するAIツール
ゴールデンデータセット (正解データ集)の関連記事
ゴールデンデータセット (正解データ集)の関連用語
12カテゴリ・1795語以上を体系的に整理しています
