YaRN (コンテキスト長拡張)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。32Kで学習したモデルにYaRNを適用し128Kの長文契約書を1回で要約させる。/長文RAGでチャンク数を減らす代わりにYaRNで実効コンテキストを拡張する設計案。

YaRN (コンテキスト長拡張)

読み: やーん

最終更新: 2026-07-21・AI PICKS編集部

定義

YaRNとは、Transformerの位置エンコーディング（RoPE）を波長帯域ごとに補間・調整し、追加学習コストを抑えながらモデルのコンテキスト長を大幅に拡張する手法のこと。

YaRN (コンテキスト長拡張)とは — 詳しく解説

YaRN（Yet another RoPE extensioN method）は、RoPEの周波数成分を波長帯域ごとに補間・外挿し分けることで、少量の追加学習だけで学習時より数倍長いコンテキストへモデルを対応させる手法で、オープンモデルの長文対応版で広く採用されているとされる。業界標準としてはNTK-aware scalingや線形補間と並ぶ選択肢とされる。実運用での落とし穴は、拡張後も入力中央部の情報を見落とす「Lost in the Middle」傾向が残る点と、拡張率を上げるほど短文タスクの精度がわずかに劣化しやすい点。現場での選び方は、必要な最大トークン数と許容できる精度低下のバランスで決まり、無理に拡張倍率を上げず実際に使う文書量に合わせる判断が優先されやすい。コスト面では拡張自体に大規模な再学習費用はかからないが、長いコンテキストほど推論時のGPUメモリと計算コストが増えるため、2026年時点の相場感としてもコンテキスト長に比例した従量課金が主流であり、RAG併用で依存を減らす設計も現場では一般的とされる。