本ページはプロモーションを含みます（掲載基準）
BEIR (検索性能ベンチマーク)の定義
BEIRとは、質問応答や事実検証など性質の異なる複数タスクを横断してゼロショットで検索モデルの精度を測る評価用ベンチマークのこと。
BEIR (検索性能ベンチマーク)とは（詳しく解説）
BEIRは18種類の異なる検索タスク（質問応答、事実検証、重複質問検出など）を束ねたゼロショット検索評価用のベンチマークとして提案され、埋め込みモデルやRAGの検索コンポーネントの汎化性能を測る業界標準の一つとされる。単一データセットでの精度だけでは分野が変わった途端に性能が落ちる問題があるため、複数ドメインを跨いだ平均スコア（nDCG@10等）で比較する点が特徴とされる。ただし2026年時点の実運用では、BEIRのスコアが高いモデルでも自社の専門用語やドメイン固有の文書構造には弱く、実際のRAGパイプラインに組み込むと精度が想定より下がるケースがあると指摘される。また評価コストの面でも、全18タスクをフルで再現するには計算コストがかさむため、現場では自社ドメインに近いサブセットのみを抜粋して独自ベンチマーク化する運用が広く採用されている。選定時は総合スコアだけでなく、自社データに近いタスクでの個別スコアを確認することが重要とされる。
BEIR (検索性能ベンチマーク)を調べた人に
ローカルLLMを
大きなモデルほどメモリやVRAMが要ります。統合メモリの多いミニPCや、GPU搭載のデスクトップが候補です。
GMKtec（ミニPC）Ryzen AI搭載で統合メモリの大きいミニPCがあり、机の上に置ける大きさでローカルLLMを動かせる
ミニPC ／ Ryzen AI搭載モデルあり（価格は公式ストアで確認）
FRONTIER（BTOパソコン）GeForce RTX搭載のデスクトップを構成を選んで買える。VRAMの大きいGPUも選べる
BTOパソコン ／ GeForce RTX搭載モデルあり（構成と価格は公式で確認）
Lenovo（レノボ公式ストア）GPU搭載のノートやデスクトップを公式ストアで構成を選んで買える
パソコン（公式オンラインストア） ／ 構成と価格は公式ストアで確認
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「BEIR (検索性能ベンチマーク)とは」 https://aipicks.jp/glossary/beir
BEIR (検索性能ベンチマーク)の使用例
- 自社開発した埋め込みモデルの汎用性を検証する際、BEIRの複数タスクスコアを比較指標として使う。
- RAG導入前に候補の検索モデルをBEIRのnDCG@10スコアで一次スクリーニングする。
BEIR (検索性能ベンチマーク)に関連するAIツール
BEIR (検索性能ベンチマーク)の関連記事
BEIR (検索性能ベンチマーク)の関連用語
12カテゴリ・1834語以上を体系的に整理しています