位置エンコーディング (Positional Encoding)
読み: いちえんこーでぃんぐ
最終更新: 2026-07-24・AI PICKS編集部
定義
位置エンコーディングとは、Transformerモデルの各トークンに文中の並び順情報を数値ベクトルとして付与する仕組みのこと。自己注意機構だけでは語順を区別できないため必須の要素とされる。
位置エンコーディング (Positional Encoding)とは — 詳しく解説
Transformerの自己注意機構は各トークンを並列処理するため、単語の並び順そのものを区別する手段を持たない。そこで各トークンの埋め込みに位置情報を数値として足し込む位置エンコーディングが業界標準として組み込まれている。代表的な方式は、学習前に数式で固定するサイン・コサイン型（絶対位置エンコーディング）、モデルが学習で獲得する方式、そして近年の主要LLMで広く採用されている相対位置を回転行列で表現するRotary Position Embedding（RoPE）に大別される。2026年時点の実運用で現場が直面する落とし穴は、学習時より長い入力を与えると位置情報の精度が崩れ出力品質が落ちる「コンテキスト外挿」問題で、長文要約や大量ログ解析など長コンテキスト用途ほど顕在化しやすいとされる。自前でLLMを事前学習・再学習して位置エンコーディング方式を変更するのはGPUコストが重く、既存の事前学習済みモデル（Claude・GPT系等）が採用する方式をそのまま使う選択が相場感として現実的とされる。
位置エンコーディング (Positional Encoding)の使用例
- プロンプト例:「Transformerの位置エンコーディングと絶対位置・相対位置の違いを初心者向けに説明して」
- 長文要約で出力が途中から崩れる場合、学習時の最大コンテキスト長を超えていないか位置エンコーディングの外挿限界を疑う。
位置エンコーディング (Positional Encoding)に関連するAIツール
関連用語
「LLM / 言語モデル」の他の用語
Artificial Intelligence の略。人間の知能をコンピュータで再現する技術全般を指す。
Large Language Model の略。 膨大なテキストで学習した文章生成 AI。 ChatGPT / Claude / Gemini が代表例。
AI がそれっぽい嘘をつく現象。 学習データに無い情報を推測で生成してしまう。
AI が一度に扱える文章の長さ。 トークン数で表現される (例: Claude Opus 4.7 は 1M トークン)。
AI が扱う文字のかたまり。 日本語は 1 文字 ≒ 1 トークン、 英語は単語 ≒ 1 トークン。 料金計算の単位でもある。
文章・画像・音声・動画 を新規に作り出す AI 技術。 ChatGPT 以降の AI ブームの主役。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ