定義
入力の切り詰め(Truncation)とは、モデルの最大コンテキスト長を超えた入力テキストの一部が自動的に削除・省略される現象のこと。
入力の切り詰め (Truncation)とは（詳しく解説）
LLMには一度に処理できるトークン数の上限(コンテキストウィンドウ)があり、これを超える入力は先頭または末尾から機械的に切り捨てられる。これが入力の切り詰めで、RAGのように検索でヒットした複数文書をまとめてプロンプトに詰め込む構成では特に起こりやすいとされる。業界標準では、長文は事前に要約やチャンク分割で圧縮してから渡す設計が広く採用されているが、実運用では切り詰めが起きたこと自体に気づきにくく、末尾の質問文や重要な指示が欠落して回答が的外れになる落とし穴が現場でしばしば報告される。2026年時点ではコンテキスト長が長いモデルほど利用コストも上がる傾向があり、現場ではトークン数を監視するログ・警告の仕組み、優先度の高い情報を入力の先頭に置くプロンプト設計、コンテキスト長とコストの相場感を踏まえたモデル選定を組み合わせた運用が求められる。
入力の切り詰め (Truncation)の使用例
- 長い会議録をそのままRAGのプロンプトに渡すと後半が切り詰められ、結論部分の指示が読まれないことがある。
- チャットボットで会話履歴が長くなると古い発言から切り詰められ、最初に設定した前提が反映されなくなる。
