BEIR (検索性能ベンチマーク)
読み: べあ
最終更新: 2026-07-29・AI PICKS編集部
定義
BEIRとは、質問応答や事実検証など性質の異なる複数タスクを横断してゼロショットで検索モデルの精度を測る評価用ベンチマークのこと。
BEIR (検索性能ベンチマーク)とは — 詳しく解説
BEIRは18種類の異なる検索タスク（質問応答、事実検証、重複質問検出など）を束ねたゼロショット検索評価用のベンチマークとして提案され、埋め込みモデルやRAGの検索コンポーネントの汎化性能を測る業界標準の一つとされる。単一データセットでの精度だけでは分野が変わった途端に性能が落ちる問題があるため、複数ドメインを跨いだ平均スコア（nDCG@10等）で比較する点が特徴とされる。ただし2026年時点の実運用では、BEIRのスコアが高いモデルでも自社の専門用語やドメイン固有の文書構造には弱く、実際のRAGパイプラインに組み込むと精度が想定より下がるケースがあると指摘される。また評価コストの面でも、全18タスクをフルで再現するには計算コストがかさむため、現場では自社ドメインに近いサブセットのみを抜粋して独自ベンチマーク化する運用が広く採用されている。選定時は総合スコアだけでなく、自社データに近いタスクでの個別スコアを確認することが重要とされる。
BEIR (検索性能ベンチマーク)の使用例
- 自社開発した埋め込みモデルの汎用性を検証する際、BEIRの複数タスクスコアを比較指標として使う。
- RAG導入前に候補の検索モデルをBEIRのnDCG@10スコアで一次スクリーニングする。
BEIR (検索性能ベンチマーク)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1163語以上を体系的に整理しています
辞典トップへ