定義
Top-kサンプリングとは、LLMが次のトークンを生成する際、確率上位k個の候補に絞り込んでからランダムに1つを選ぶデコーディング手法のこと。
Top-k サンプリング (Top-k Sampling)とは（詳しく解説）
Top-kサンプリング(Top-k Sampling)とは、LLMが次のトークンを予測する際、確率分布の上位k個(例: k=40)だけを候補として残し、そこから確率に応じてランダムに1つを選ぶ生成手法のことを指すとされる。全候補からサンプリングする素朴な方法に比べ、確率の低い突飛な単語が選ばれる確率を抑えつつ、常に最尤語だけを選ぶgreedy decodingより多様な文章を生成できる点が特徴とされる。実運用ではtemperatureやtop-pと組み合わせて使われることが多く、kの値が小さすぎると単調で似た表現ばかりになり、大きすぎると文脈から外れた出力が増えるという落とし穴がある。2026年時点の現場では、多くのAPIがtop-pとの併用をデフォルトにしており、パラメータ調整自体に追加コストはかからないものの、出力の再現性が下がるためテストや評価のコストが増える点に相場感として注意が必要とされる。
Top-k サンプリング (Top-k Sampling)の使用例
- OpenAI APIでtop_k=40を指定し、上位40候補の中から次トークンをサンプリングして出力に多様性を持たせる。
- temperature=0.7とtop_k=50を併用し、単調すぎず暴走もしない自然な文章生成を狙う。
