MMLU-Pro (難化版知識ベンチ)
読み: えむえむえるゆーぷろ
最終更新: 2026-07-06・AI PICKS編集部
定義
MMLU-Proとは、既存のMMLUベンチマークを難化させ、選択肢を10択に増やして推論力を重視したLLM評価基準のこと。
MMLU-Pro (難化版知識ベンチ)とは — 詳しく解説
MMLU-Pro(Massive Multitask Language Understanding Pro)は、従来のMMLUベンチマークが抱える「4択問題」「易問混入」という弱点を補うために設計された難化版の知識・推論評価ベンチマークである。選択肢を10択に増やし、単純な知識暗記だけでは正答できない設問を中心に構成することで、モデル間のスコア差が付きやすくなっているとされる。2026年時点の実運用では、MMLU-Proのスコアだけでモデルを選定するのは危険とされ、特定ベンチマークへの過学習によってスコアと実際の業務性能が乖離するケースが指摘されている。現場でのモデル選定では、MMLU-Proに加えて自社ドメインに近いタスクでの評価や、API利用のコスト・レイテンシとのバランスを見る運用が広く採用されている。相場感としても、スコア上位モデルが必ずしも費用対効果に優れるとは限らない点に注意が必要とされる。
MMLU-Pro (難化版知識ベンチ)の使用例
- 新モデル導入検討時に、既存モデルとのMMLU-Proスコア差を比較材料の一つとして使う。
- MMLU-Proのスコアが高くても、自社FAQ対応など特定業務では精度が伸びないことがある。
MMLU-Pro (難化版知識ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・402語以上を体系的に整理しています
辞典トップへ