定義
残差接続とは、ニューラルネットワークの層の出力に入力をそのまま足し合わせ、深い層でも勾配が消えずに学習を安定させる設計手法のこと。
残差接続 (Residual Connection)とは（詳しく解説）
残差接続は2015年のResNetで提案された仕組みで、層の出力に入力を足し合わせるショートカット構造により勾配消失を防ぎ、深いネットワークの学習を安定させる。Transformerの各層でもMulti-Head Attentionやフィードフォワード層の後に標準搭載されており、LLMの層数を数十〜数百まで積み増せる土台になっているとされる。2026年時点の実運用では、既存の学習済みモデルをAPI経由で使う分にはこの構造を意識する場面は少ないが、独自にTransformer層を実装・改造する現場ではPre-LNかPost-LNかという残差経路の順序や正規化位置の設計ミスが学習不安定化の原因になりやすいと指摘される。自前でアーキテクチャを改造・事前学習する場合、この設計選定の巧拙が学習効率と計算コストの相場感を左右するため、フルスクラッチ開発の際は既存OSS実装を参考にするのが現実的な選び方とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「残差接続 (Residual Connection)とは」 https://aipicks.jp/glossary/residual-connection
残差接続 (Residual Connection)の使用例
- 「Transformerで層を深くしても学習が安定しない」→残差接続とLayerNormの配置(Pre-LN/Post-LN)を見直す設計相談。
- 「ResNetはなぜ100層以上でも学習できるのか」という質問への回答で残差接続の役割を説明する場面。
