TruthfulQA (真実性ベンチ)
読み: とぅるーすふるきゅーえー(しんじつせいべんち)
最終更新: 2026-07-14・AI PICKS編集部
定義
TruthfulQA(真実性ベンチ)とは、大規模言語モデルが人間に広く見られる誤解や俗説に引きずられず、事実に基づいた正確な回答を返せるかを測定するベンチマークのこと。
TruthfulQA (真実性ベンチ)とは — 詳しく解説
TruthfulQAは2021年にOpenAIとオックスフォード大学の研究者が発表した、大規模言語モデルの「真実性」を測るベンチマークとされる。医療・法律・都市伝説など人間が誤解しやすい817問の質問に対し、モデルが世間に広まった俗説やバイアスを鵜呑みにせず、事実に即した回答を返せるかを採点する仕組みで、GPT系やLlama系など主要モデルの技術レポートで比較指標として広く採用されているとされる。ただし2026年時点の実運用では、スコアが高いモデルでも自社ドメイン固有の事実確認には弱く、RAGやファクトチェック機構との併用が現場では前提になっているとされる。単体のベンチマークスコアだけでモデル選定をすると、実際のハルシネーション率と乖離するケースがあるため、社内評価セットでの追試コストを見込んだ上で、公開ベンチマークは相場感をつかむ一次情報として扱うのが現実的な選び方とされる。
TruthfulQA (真実性ベンチ)の使用例
- 「TruthfulQAのスコアが高いから安心」と鵜呑みにせず、自社ユースケースでの追試も行う。
- 契約書レビューAI導入前に、俗説・迷信への追随といった誤答パターンを想定した社内テストケースを用意する。
TruthfulQA (真実性ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・552語以上を体系的に整理しています
辞典トップへ