JMMLU (日本語知識ベンチマーク)
読み: じぇいえむえむえるゆー
最終更新: 2026-07-25・AI PICKS編集部
定義
JMMLUとは、人文・社会・自然科学など56分野の四択問題で日本語LLMの知識理解力を測定するベンチマークのこと。
JMMLU (日本語知識ベンチマーク)とは — 詳しく解説
JMMLUは、米国発の代表的ベンチマークMMLUを日本語に翻訳・現地化したデータセットで、人文・社会・自然科学など56分野にわたる四択問題でLLMの知識理解力を測定する。スコアが高いほど幅広い分野の知識を正確に扱えるとされ、モデル選定時の指標のひとつとして広く参照される。ただし実運用では、ベンチマークで高スコアのモデルでも、自社ドメイン特有の専門用語や社内文脈では精度が落ちるケースがあるとされ、JMMLU単体を過信せず自社データでの検証を組み合わせるのが現場の基本とされる。また問題セット自体が学習データに混入し、スコアがそのまま実力を反映しない「汚染」の懸念も指摘される。2026年時点では、複数モデルを併用しコスト効率と精度のバランスを取る運用が一般的で、API利用料の相場感を踏まえてJMMLUスコアと単価を照らし合わせてモデルを選ぶ企業が増えている。
JMMLU (日本語知識ベンチマーク)の使用例
- GPT系とLlama系のJMMLUスコアを比較し、日本語の法律・医学分野での正答率差を分析する。
- 自社ファインチューニング後にJMMLUで学術・時事分野のスコア低下がないか回帰テストする。
JMMLU (日本語知識ベンチマーク)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・963語以上を体系的に整理しています
辞典トップへ