JMTEB (日本語埋め込み評価ベンチ)
読み: じぇいえむてぶ
最終更新: 2026-07-29・AI PICKS編集部
定義
JMTEBとは、日本語のテキスト埋め込みモデルの性能を検索・分類・クラスタリング・STSなど複数タスクで横断的に評価するベンチマークのこと。
JMTEB (日本語埋め込み評価ベンチ)とは — 詳しく解説
JMTEBは、多言語ベンチマークMTEBの枠組みを日本語向けに整備した評価基盤で、検索・分類・クラスタリング・STS(意味的類似度)・再ランキングなど複数タスクの平均スコアでモデルの実力を横断的に比較できるとされる。英語中心のMTEBスコアだけでは日本語特有の表記ゆれや助詞・敬語のニュアンスを捉えきれないため、日本語RAGや検索システムを構築する際はJMTEBのタスク別スコアを確認するのが実運用では定石とされる。ただし現場での落とし穴として、JMTEBの総合スコアが高くても特定タスク(法律文書や口語表現など)では精度が想定より低いケースがあるとされ、自社データでの追加検証が推奨される。また埋め込みモデルはAPI課金かセルフホストかでコスト構造が大きく変わり、2026年時点では高スコアの大型モデルほど推論コストとレイテンシが増す傾向があるため、精度とコストのバランスを見て選定するのが現場の相場感とされる。
JMTEB (日本語埋め込み評価ベンチ)の使用例
- 日本語RAGの検索精度を上げたいとき、JMTEBのretrievalタスクスコアが高い埋め込みモデルへの切り替えを検討する。
- 複数の埋め込みモデルを選定する際、JMTEBの日本語タスク別平均スコアを比較材料の一つとして参照する。
JMTEB (日本語埋め込み評価ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1163語以上を体系的に整理しています
辞典トップへ