定義
位置エンコーディングとは、Transformerモデルの各トークンに文中の並び順情報を数値ベクトルとして付与する仕組みのこと。自己注意機構だけでは語順を区別できないため必須の要素とされる。
位置エンコーディング (Positional Encoding)とは（詳しく解説）
Transformerの自己注意機構は各トークンを並列処理するため、単語の並び順そのものを区別する手段を持たない。そこで各トークンの埋め込みに位置情報を数値として足し込む位置エンコーディングが業界標準として組み込まれている。代表的な方式は、学習前に数式で固定するサイン・コサイン型（絶対位置エンコーディング）、モデルが学習で獲得する方式、そして近年の主要LLMで広く採用されている相対位置を回転行列で表現するRotary Position Embedding（RoPE）に大別される。2026年時点の実運用で現場が直面する落とし穴は、学習時より長い入力を与えると位置情報の精度が崩れ出力品質が落ちる「コンテキスト外挿」問題で、長文要約や大量ログ解析など長コンテキスト用途ほど顕在化しやすいとされる。自前でLLMを事前学習・再学習して位置エンコーディング方式を変更するのはGPUコストが重く、既存の事前学習済みモデル（Claude・GPT系等）が採用する方式をそのまま使う選択が相場感として現実的とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「位置エンコーディング (Positional Encoding)とは」 https://aipicks.jp/glossary/positional-encoding
位置エンコーディング (Positional Encoding)の使用例
- プロンプト例:「Transformerの位置エンコーディングと絶対位置・相対位置の違いを初心者向けに説明して」
- 長文要約で出力が途中から崩れる場合、学習時の最大コンテキスト長を超えていないか位置エンコーディングの外挿限界を疑う。
