層正規化 (Layer Normalization)
読み: そうせいきか
最終更新: 2026-07-24・AI PICKS編集部
定義
層正規化とは、ニューラルネットワークの各層の出力をサンプルごとに平均0・分散1へ整え、学習を安定させ収束を速める正規化手法のこと。
層正規化 (Layer Normalization)とは — 詳しく解説
層正規化(Layer Normalization、LayerNorm)は、各層の出力をバッチ内の1サンプル単位で正規化し、勾配消失や発散を防いで学習を安定させる標準的な手法とされ、バッチサイズに依存しないためTransformer系の言語モデルで広く採用されている。2026年時点の実運用では、正規化を残差接続の前に置くPre-LN構成がPost-LNより安定しやすいとされ、大規模モデルの現場では計算コストを抑えたRMSNormへの置き換えも進んでいる。落とし穴としては、既存の学習済みモデルをファインチューニングする際に正規化の位置や方式を変えると学習率の再調整が必要になりやすく、現場では元モデルの構成をそのまま踏襲するのが基本とされる。層正規化自体の計算コストは小さいが、層数が多いモデルほど推論レイテンシへの積み上げは無視できず、モデル選定やコスト試算では隠れ層のサイズだけでなく正規化方式も比較対象になる。
層正規化 (Layer Normalization)の使用例
- Pre-LN vs Post-LN: どちらの配置かでファインチューニング時の学習率調整方針が変わる。
- RMSNormへの置き換え: 層正規化の計算コストを削減しつつ学習安定性を維持する派生手法として比較検討する。
層正規化 (Layer Normalization)に関連するAIツール
関連用語
「LLM / 言語モデル」の他の用語
Artificial Intelligence の略。人間の知能をコンピュータで再現する技術全般を指す。
Large Language Model の略。 膨大なテキストで学習した文章生成 AI。 ChatGPT / Claude / Gemini が代表例。
AI がそれっぽい嘘をつく現象。 学習データに無い情報を推測で生成してしまう。
AI が一度に扱える文章の長さ。 トークン数で表現される (例: Claude Opus 4.7 は 1M トークン)。
AI が扱う文字のかたまり。 日本語は 1 文字 ≒ 1 トークン、 英語は単語 ≒ 1 トークン。 料金計算の単位でもある。
文章・画像・音声・動画 を新規に作り出す AI 技術。 ChatGPT 以降の AI ブームの主役。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ