検索ヘッド (Retrieval Head)
読み: けんさくへっど
最終更新: 2026-07-31・AI PICKS編集部
定義
検索ヘッドとは、Transformer型LLMの中で長いコンテキストから必要な情報を選択的に取り出す役割を担う一部の注意ヘッドのこと。
検索ヘッド (Retrieval Head)とは — 詳しく解説
検索ヘッドとは、Transformerの多数の注意ヘッドのうち、長いコンテキスト内の特定トークンに強く注意を向けて必要な情報を取り出す少数のヘッド群を指す研究上の概念で、long-context QAやNeedle-in-a-Haystackのようなタスクでモデルが正解を引き当てられるかどうかは、この検索ヘッドの働きに大きく依存するとされる。層をまたいで少数しか存在せず、モデルやタスクを超えて似た振る舞いをする「普遍的でスパースな」ヘッドであることが指摘されている。2026年時点の実運用では、コンテキストウィンドウを数十万トークンまで拡張しても、検索ヘッドが弱いモデルは長文の途中にある情報を取りこぼす「lost in the middle」現象が起きやすく、これが精度低下やハルシネーションの一因になっている。現場でモデルを選ぶ際は、公称のコンテキスト長だけでなく、長文検索ベンチマークのスコアを確認することが重要で、検索ヘッドの強化やRAGとの併用によって、コストを抑えつつ精度を担保する選び方が広く採用されている。
検索ヘッド (Retrieval Head)の使用例
- 128Kトークンの契約書PDFから特定条項を1文で正確に引用できるかは、検索ヘッドの強さが左右するとされる。
- 「Needle in a Haystack」テストは検索ヘッドの働きを可視化する代表的な評価手法として知られる。
検索ヘッド (Retrieval Head)に関連するAIツール
関連用語
「LLM / 言語モデル」の他の用語
Artificial Intelligence の略。人間の知能をコンピュータで再現する技術全般を指す。
Large Language Model の略。 膨大なテキストで学習した文章生成 AI。 ChatGPT / Claude / Gemini が代表例。
AI がそれっぽい嘘をつく現象。 学習データに無い情報を推測で生成してしまう。
AI が一度に扱える文章の長さ。 トークン数で表現される (例: Claude Opus 4.7 は 1M トークン)。
AI が扱う文字のかたまり。 日本語は 1 文字 ≒ 1 トークン、 英語は単語 ≒ 1 トークン。 料金計算の単位でもある。
文章・画像・音声・動画 を新規に作り出す AI 技術。 ChatGPT 以降の AI ブームの主役。
AI用語辞典をすべて見てみませんか
12カテゴリ・1263語以上を体系的に整理しています
辞典トップへ