定義
JMMLUとは、人文・社会・自然科学など56分野の四択問題で日本語LLMの知識理解力を測定するベンチマークのこと。
JMMLU (日本語知識ベンチマーク)とは（詳しく解説）
JMMLUは、米国発の代表的ベンチマークMMLUを日本語に翻訳・現地化したデータセットで、人文・社会・自然科学など56分野にわたる四択問題でLLMの知識理解力を測定する。スコアが高いほど幅広い分野の知識を正確に扱えるとされ、モデル選定時の指標のひとつとして広く参照される。ただし実運用では、ベンチマークで高スコアのモデルでも、自社ドメイン特有の専門用語や社内文脈では精度が落ちるケースがあるとされ、JMMLU単体を過信せず自社データでの検証を組み合わせるのが現場の基本とされる。また問題セット自体が学習データに混入し、スコアがそのまま実力を反映しない「汚染」の懸念も指摘される。2026年時点では、複数モデルを併用しコスト効率と精度のバランスを取る運用が一般的で、API利用料の相場感を踏まえてJMMLUスコアと単価を照らし合わせてモデルを選ぶ企業が増えている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「JMMLU (日本語知識ベンチマーク)とは」 https://aipicks.jp/glossary/jmmlu
JMMLU (日本語知識ベンチマーク)の使用例
- GPT系とLlama系のJMMLUスコアを比較し、日本語の法律・医学分野での正答率差を分析する。
- 自社ファインチューニング後にJMMLUで学術・時事分野のスコア低下がないか回帰テストする。
