定義
層正規化とは、ニューラルネットワークの各層の出力をサンプルごとに平均0・分散1へ整え、学習を安定させ収束を速める正規化手法のこと。
層正規化 (Layer Normalization)とは（詳しく解説）
層正規化(Layer Normalization、LayerNorm)は、各層の出力をバッチ内の1サンプル単位で正規化し、勾配消失や発散を防いで学習を安定させる標準的な手法とされ、バッチサイズに依存しないためTransformer系の言語モデルで広く採用されている。2026年時点の実運用では、正規化を残差接続の前に置くPre-LN構成がPost-LNより安定しやすいとされ、大規模モデルの現場では計算コストを抑えたRMSNormへの置き換えも進んでいる。落とし穴としては、既存の学習済みモデルをファインチューニングする際に正規化の位置や方式を変えると学習率の再調整が必要になりやすく、現場では元モデルの構成をそのまま踏襲するのが基本とされる。層正規化自体の計算コストは小さいが、層数が多いモデルほど推論レイテンシへの積み上げは無視できず、モデル選定やコスト試算では隠れ層のサイズだけでなく正規化方式も比較対象になる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「層正規化 (Layer Normalization)とは」 https://aipicks.jp/glossary/layer-normalization
層正規化 (Layer Normalization)の使用例
- Pre-LN vs Post-LN: どちらの配置かでファインチューニング時の学習率調整方針が変わる。
- RMSNormへの置き換え: 層正規化の計算コストを削減しつつ学習安定性を維持する派生手法として比較検討する。
