HaluEval (幻覚検知ベンチ)
読み: はるえばる
最終更新: 2026-08-12・AI PICKS編集部
定義
HaluEvalとは、LLMが生成した回答の幻覚(事実と異なる内容)を検知できるかを測定するために構築されたベンチマークデータセットのこと。
HaluEval (幻覚検知ベンチ)とは — 詳しく解説
HaluEvalは、中国人民大学の研究チームが2023年に発表した、LLMの幻覚検知能力を測るベンチマークで、質問応答・対話・文章要約・一般ユーザークエリの4種類のタスクにわたり、正しい回答と幻覚を含む回答のペアを大量に収録している構成が業界標準として知られる。モデルにどちらが幻覚かを判定させることで、生成内容の事実整合性をチェックする能力を測定する枠組みとされる。2026年時点の実運用では、HaluEvalのスコアが高いモデルでも、ドメイン固有の専門用語や最新情報を扱う場面では幻覚を出しやすいという落とし穴が指摘されており、ベンチマーク単体の数値を鵜呑みにせず、RAGや事実検証ツールとの併用が現場での標準的な選び方になっているとされる。導入のコスト感としては、ベンチマーク自体は無償公開されているが、実運用に組み込む場合は評価パイプラインの構築や継続的なモニタリング体制にかかる工数が主なコストになるとされる。
HaluEval (幻覚検知ベンチ)の使用例
- HaluEvalのQAタスクでは、正しい回答と幻覚を含む回答を提示し、モデルにどちらが正しいか判定させる。
- プロンプト例:「次の回答は幻覚を含みますか、事実に基づいていますか。理由とともに判定してください」
HaluEval (幻覚検知ベンチ)に関連するAIツール
HaluEval (幻覚検知ベンチ)の関連記事
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1418語以上を体系的に整理しています