セマンティックエントロピー (幻覚検知指標)
読み: せまんてぃっくえんとろぴー
最終更新: 2026-07-29・AI PICKS編集部
定義
セマンティックエントロピーとは、 同一の問いに対する LLM の複数回答を意味単位でクラスタリングし、 そのばらつきの大きさからハルシネーションの可能性を検知する指標のこと。
セマンティックエントロピー (幻覚検知指標)とは — 詳しく解説
セマンティックエントロピーは、 2024 年に Nature 誌で発表されたハルシネーション検知の指標で、 同じ質問に対して LLM から複数回答をサンプリングし、 回答同士が意味的に同じ主張かどうかを自然言語推論でクラスタリングした上で、 クラスタの分布からエントロピー (ばらつき) を算出する。 クラスタが割れる (エントロピーが高い) ほど、 モデルが 「でっち上げ」 (confabulation) をしている可能性が高いと判断できるとされる。 表層的な言い回しの違いに惑わされず意味の一貫性を測れる点が、 単純な自己一貫性チェックより優れるとされる。 一方、 2026 年時点の実運用では 1 回の応答に対し 5〜10 回の追加生成 + NLI 分類が必要でレイテンシとコストが重く、 リアルタイム応答への組み込みは難しいという落とし穴がある。 現場では全リクエストへの適用でなくバッチ品質監査や高リスク領域限定のガードレールとして採用されることが多く、 相場感としては RAG による裏付け確認と併用する構成が主流とされる。
セマンティックエントロピー (幻覚検知指標)の使用例
- 同じ質問を temperature を上げて 5〜10 回生成し、 NLI で意味クラスタ化してエントロピーを算出する実装が一般的。
- 医療 / 法律など高リスク領域の QA システムで、 回答前のガードレール判定として使われることがある。
セマンティックエントロピー (幻覚検知指標)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1163語以上を体系的に整理しています
辞典トップへ