JGLUE (日本語言語理解ベンチマーク)
読み: じぇいぐるー
最終更新: 2026-07-15・AI PICKS編集部
定義
JGLUEとは、日本語の自然言語処理モデルの言語理解能力を測るために東京大学・早稲田大学・ヤフーが共同開発したベンチマークデータセット群のこと。
JGLUE (日本語言語理解ベンチマーク)とは — 詳しく解説
JGLUEは、文章分類・類似度判定・QAなど複数のタスクで構成される日本語版GLUEベンチマークで、英語圏で標準化されていたGLUE/SuperGLUEの枠組みを日本語に適用したものとして、国内の日本語LLM評価では事実上の標準的な参照ベンチマークの一つとされる。JGLUEのスコアだけでモデルの実運用適性を判断するのは危険で、ベンチマークで高スコアを出しても、現場の業務文書や口語表現、専門用語を含む実際のタスクでは精度が伸び悩むケースがあると指摘される。2026年時点では、JGLUEに加えて日本語特化の追加ベンチマークやドメイン別の評価セットを組み合わせて選定する運用が広く採用されている。自社でモデルを再評価する場合は、推論コストや評価用のAPI呼び出し費用も無視できないため、まずは公開されているJGLUEスコアで候補を絞り込み、実運用に近いテストセットで最終選定するという二段階の進め方が現場では合理的とされる。
JGLUE (日本語言語理解ベンチマーク)の使用例
- モデル選定時に「JGLUEのJSTSスコアを教えて」と聞き、候補モデルの日本語理解力を比較する。
- 社内評価パイプラインにJGLUEのタスクセットを組み込み、候補LLMの一次スクリーニングに使う。
JGLUE (日本語言語理解ベンチマーク)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・602語以上を体系的に整理しています
辞典トップへ