Perplexityの発表内容
Perplexityは新しい埋め込みモデル（文章を数値に変換して検索する仕組み）を発表しました。新モデルの「pplx-embed-v2-context-9b-preview」は、Hugging Face上で公開されています。
従来の仕組みは、質問に答える1箇所だけを探す学習が中心でした。今回のモデルは、回答が含まれる部分に加えて、理解に必要な前後の文脈もまとめて検索します。推論時の追加コストをかけずに、1024次元とint8の形式を扱えます。
公開ベンチマーク（性能測定の共通テスト）の「ConTEB」でも最高成績を記録しています。
長い資料を扱う業務において、回答の根拠まで含めた確実な情報収集に役立ちます。単体の答えだけでなく裏付けの文脈も同時に取り出せるため、正確な確認作業が進めやすくなります。
つまり、どういうこと？
つまり、長い書類の中から「答えの一行」だけでなく、「その前後の説明」も一緒に見つけ出せる検索の頭脳です。
従来のAI検索は、答えが書かれた箇所だけを切り抜いていました。しかし、前後の文脈がないと結論の理由や前提条件が分かりません。今回の仕組みは、結論とその根拠をセットで取り出してくれます。
編集部の見方
AI検索ではピンポイントの回答を探すのが一般的でしたが、周辺の文脈も同時に拾うアプローチは合理的です。答えだけ抜き出されても前提や定義が抜けていては業務で使えません。正解だけでなく根拠も集める姿勢に、検索の実務をよく理解している印象を受けました。
実用性への配慮。
追加の計算負荷を増やさず、1024次元や軽量な形式に対応している点も現場向きです。社内文書の検索システムを自作しているチームなら、すぐ試す価値があります。
今後はこのモデルがPerplexity自体の検索エンジンへいつ本番適用されるかを見たいところです。
誰に関係するか
長文の資料から必要な情報を探している人は、答えの根拠となる前後の文脈までまとめて見つけられるようになります。
