定義
コンテキスト予算配分とは、LLMのコンテキストウィンドウという限られた枠を、システムプロンプト・履歴・検索結果などの用途別に配分し管理する設計手法のこと。
コンテキスト予算配分 (Context Budgeting)とは（詳しく解説）
コンテキスト予算配分は、LLMのコンテキストウィンドウを構成要素ごとに配分する設計手法として、RAGやエージェント開発の現場で広く採用されているとされる。システムプロンプト、few-shot例、検索で取得した文書、会話履歴、出力用の余白といった用途に上限を割り当て、優先順位の低い情報から削る運用が一般的とされる。2026年時点の実運用では、ウィンドウが大きいモデルほど入力コストも比例して増えるため、闇雲に長いコンテキストを詰め込むとAPIコストが膨らむ落とし穴がある。また情報を詰め込みすぎると関連性の低い部分に注意が分散し、精度が落ちる「lost in the middle」と呼ばれる現象が知られており、単純に予算を増やせば解決する問題ではない。現場での選び方としては、まず必須情報(指示・直近の文脈)に予算を固定で確保し、残りを検索結果や履歴の要約に動的配分する設計が採用されやすいとされる。
コンテキスト予算配分 (Context Budgeting)の使用例
- システムプロンプト20%・検索結果50%・会話履歴20%・出力余白10%、のように上限をあらかじめ配分してから設計する。
- 長い会話ログをそのまま流し込まず、要約してから予算内に収める運用が現場では一般的とされる。
