本ページはプロモーションを含みます(掲載基準)
BGE-M3 (多言語埋め込みモデル)の定義
BGE-M3とは、中国の北京智源人工智能研究院(BAAI)が2024年1月に公開した多言語対応の埋め込みモデルのことです。日本語を含む100以上の言語の文章をベクトルに変え、RAGや検索の土台として無料で使えます。
- 開発元
- 北京智源人工智能研究院(BAAI)。BGEは「BAAI General Embedding」の略
- 公開
- 2024年1月(Hugging Faceで公開、論文はarXiv 2402.03216)
- 名前のM3
- Multi-Functionality(3つの検索方式)、Multi-Linguality(100以上の言語)、Multi-Granularity(短文から8,192トークンの長文まで)の3つの「多」
- 3つの検索方式
- 意味で探すDense、単語の一致で探すSparse、複数のベクトルで細かく照合するMulti-Vector(ColBERT型)を1つのモデルで出力
- 仕様
- XLM-RoBERTaベース、出力ベクトルは1,024次元、最大入力は8,192トークン
- ライセンス
- MITライセンスで商用利用可。Hugging Face、FlagEmbedding、Ollamaなどから利用できる
BGE-M3 (多言語埋め込みモデル)とは(詳しく解説)
BGE-M3は、北京智源人工智能研究院(BAAI)が2024年1月に公開した埋め込みモデルです。埋め込みモデルとは、文章を数値の並び(ベクトル)に変えて、意味の近い文章どうしを探せるようにする仕組みのこと。RAGで社内文書から関連箇所を探すときの土台に使われます。 名前のM3は3つの「多」を表します。1つ目は検索方式の多さで、意味で探すDense、単語の一致で探すSparse、複数のベクトルで細かく照合するMulti-Vectorを、1つのモデルでまとめて出力できます。2つ目は言語の多さで、日本語を含む100以上の言語に対応します。3つ目は長さの幅で、短い文から最大8,192トークンの長文まで扱えます。 MITライセンスで公開されているため、無料で商用利用できます。Hugging Faceから直接使えるほか、BAAIのFlagEmbeddingライブラリやOllamaにも対応しています。出力ベクトルは1,024次元で、MilvusやVespaなどのベクトルデータベースではDenseとSparseを組み合わせたハイブリッド検索の例も公開されています。 選ぶときの目安はシンプルです。多言語の文書や長い文書をまとめて検索したいならBGE-M3が有力候補になります。日本語だけで精度を詰めたい場合は、日本語特化の埋め込みモデルと自社データで比べてから決めると失敗しにくくなります。
BGE-M3 (多言語埋め込みモデル)を調べた人に
ローカルLLMを
大きなモデルほどメモリやVRAMが要ります。統合メモリの多いミニPCや、GPU搭載のデスクトップが候補です。
GMKtec(ミニPC)Ryzen AI搭載で統合メモリの大きいミニPCがあり、机の上に置ける大きさでローカルLLMを動かせる
ミニPC / Ryzen AI搭載モデルあり(価格は公式ストアで確認)
FRONTIER(BTOパソコン)GeForce RTX搭載のデスクトップを構成を選んで買える。VRAMの大きいGPUも選べる
BTOパソコン / GeForce RTX搭載モデルあり(構成と価格は公式で確認)
Lenovo(レノボ公式ストア)GPU搭載のノートやデスクトップを公式ストアで構成を選んで買える
パソコン(公式オンラインストア) / 構成と価格は公式ストアで確認
BGE-M3 (多言語埋め込みモデル)のよくある質問
Q. BGE-M3は日本語に対応していますか?
対応しています。100以上の言語を扱うモデルで、論文の多言語検索評価(MIRACL)にも日本語が含まれています。
Q. BGE-M3は無料で商用利用できますか?
MITライセンスで公開されているので、無料で商用利用できます。自分のPCやサーバーで動かせば、API料金もかかりません。
Q. BGEとは何の略ですか?
BAAI General Embeddingの略で、BAAIが開発する埋め込みモデルのシリーズ名です。BGE-M3はその多言語版にあたります。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「BGE-M3 (多言語埋め込みモデル)とは」 https://aipicks.jp/glossary/bge-m3
BGE-M3 (多言語埋め込みモデル)の使用例
- 日本語FAQ検索でBGE-M3のDense+Sparseハイブリッド検索を使い、キーワード完全一致と意味的類似の両方を拾う設計にする。
- 英語・中国語・日本語混在のサポート文書をBGE-M3で一括ベクトル化し、多言語RAGのインデックスを構築する。
BGE-M3 (多言語埋め込みモデル)に関連するAIツール
BGE-M3 (多言語埋め込みモデル)の関連記事
BGE-M3 (多言語埋め込みモデル)の関連用語
12カテゴリ・1834語以上を体系的に整理しています
