SimpleQA (事実性ベンチマーク)
読み: しんぷるきゅーえー
最終更新: 2026-07-06・AI PICKS編集部
定義
SimpleQAとは、OpenAIが2024年に公開した、短答式の事実確認クイズでLLMの正答率と幻覚(誤答)傾向を測るベンチマークのこと。
SimpleQA (事実性ベンチマーク)とは — 詳しく解説
SimpleQAとは、OpenAIが2024年に公開した事実性ベンチマークで、地理・歴史・科学など幅広い分野から集めた短答式の質問にLLMがどれだけ正確に、かつ誤りを誤りと自覚して答えられるかを測定する。単純な正答率だけでなく、自信度と実際の正誤の一致度(キャリブレーション)も評価軸に含むため、モデルが「知らない」と正直に答えられるかまで可視化できる点が業界標準の評価手法として広く採用されている。2026年時点の実運用では、SimpleQAのスコアが高いモデルでも、社内文書や専門領域など学習データに含まれない情報を問われると精度が大きく落ちる落とし穴があり、現場ではRAG構成での裏取りが欠かせないとされる。ベンチマーク自体は無料で公開されているが、自社データで再現するには質問生成や正解データ整備にエンジニア工数がかかり、コスト感としては小規模な検証でも人日単位の作業になるとされる。モデル選定の際は、SimpleQAのスコアを鵜呑みにせず、自社ユースケースに近いテストセットで相場感を確認してから採用するのが現場での定石とされる。
SimpleQA (事実性ベンチマーク)の使用例
- モデル選定時に「SimpleQAでのスコア差」を根拠資料として候補LLMを比較検討する社内レポートの一文。
- 自社の専門用語Q&Aセットを作り、SimpleQA的な手法で候補LLMの正答率を独自に測定する検証設計。
SimpleQA (事実性ベンチマーク)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・402語以上を体系的に整理しています
辞典トップへ