MTEB (埋め込みモデル評価ベンチ)
読み: えむてぃーいーびー
最終更新: 2026-07-25・AI PICKS編集部
定義
MTEBとは埋め込みモデルの検索・分類・クラスタリングなど複数タスクの性能を横断的に比較するベンチマークのこと。
MTEB (埋め込みモデル評価ベンチ)とは — 詳しく解説
MTEB(Massive Text Embedding Benchmark)は、検索・分類・クラスタリング・意味的類似度など複数タスクを横断してテキスト埋め込みモデルの精度を比較する業界標準のベンチマークで、Hugging Faceのリーダーボードで結果が公開されている。上位のスコアは公開データセット上の平均値にすぎず、実運用では自社ドメインの文章や日本語特有の言い回しでスコアが大きく落ちることが落とし穴として知られる。2026年時点では上位モデルの多くが多言語対応をうたうものの日本語タスクの評価が薄いモデルもあり、現場では自社データでの追加検証が欠かせない。またAPI課金型の埋め込みモデルはトークン単価がモデルごとに数倍異なるため、MTEBスコアだけでなく相場感を踏まえたコスト試算やレイテンシも合わせて比較し、精度とコストのバランスで選ぶのが実務的な進め方とされる。
MTEB (埋め込みモデル評価ベンチ)の使用例
- MTEBの検索(Retrieval)サブタスクのスコアだけを見て、RAG用の埋め込みモデルを選定する。
- MTEB上位モデルを候補に、自社の日本語FAQデータで再検証してから採用モデルを決める。
MTEB (埋め込みモデル評価ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・963語以上を体系的に整理しています
辞典トップへ