定義
Lost in the Middleとは、長いコンテキストをLLMに与えた際、冒頭や末尾の情報は正しく参照できるのに、中間に位置する情報ほど見落とされやすくなる現象のこと。
Lost in the Middle (中間情報の見落とし)とは(詳しく解説)
Lost in the Middleは、2023年にスタンフォード大学の研究チームが報告した現象で、LLMに長いテキストを入力した場合、関連情報が文書の冒頭または末尾にあるときは正答率が高く、中間に埋もれているときは参照精度が大きく低下する傾向を指す。Transformerのアテンション機構が持つ構造的な特性に起因するとされ、コンテキストウィンドウが数十万トークン規模まで拡大した2026年時点でも根本的には解消されていないとされる。RAG(検索拡張生成)を実運用する現場では、検索結果をそのまま多く詰め込むほど回答精度が落ちるという落とし穴があり、重要なチャンクを先頭・末尾寄りに並べ替える、上位数件に絞り込む、要約してから渡すといった対策が定着している。長文をそのまま投げるほうがコストは低く見えるが、精度低下による手戻りや再検索のコストを踏まえると、チャンク選定と並べ替えを組み込む設計を選ぶのが現場での相場感になっている。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「Lost in the Middle (中間情報の見落とし)とは」 https://aipicks.jp/glossary/lost-in-the-middle
Lost in the Middle (中間情報の見落とし)の使用例
- 100ページのPDFを丸ごと投入すると、中盤に書かれた重要な数値をLLMが見落とし誤った回答を返すことがある。
- RAGで検索結果を上位20件そのまま渡すより、上位5件に絞り重要情報を先頭に配置した方が回答精度が上がる。