残差接続 (Residual Connection)
読み: ざんさせつぞく
最終更新: 2026-07-24・AI PICKS編集部
定義
残差接続とは、ニューラルネットワークの層の出力に入力をそのまま足し合わせ、深い層でも勾配が消えずに学習を安定させる設計手法のこと。
残差接続 (Residual Connection)とは — 詳しく解説
残差接続は2015年のResNetで提案された仕組みで、層の出力に入力を足し合わせるショートカット構造により勾配消失を防ぎ、深いネットワークの学習を安定させる。Transformerの各層でもMulti-Head Attentionやフィードフォワード層の後に標準搭載されており、LLMの層数を数十〜数百まで積み増せる土台になっているとされる。2026年時点の実運用では、既存の学習済みモデルをAPI経由で使う分にはこの構造を意識する場面は少ないが、独自にTransformer層を実装・改造する現場ではPre-LNかPost-LNかという残差経路の順序や正規化位置の設計ミスが学習不安定化の原因になりやすいと指摘される。自前でアーキテクチャを改造・事前学習する場合、この設計選定の巧拙が学習効率と計算コストの相場感を左右するため、フルスクラッチ開発の際は既存OSS実装を参考にするのが現実的な選び方とされる。
残差接続 (Residual Connection)の使用例
- 「Transformerで層を深くしても学習が安定しない」→残差接続とLayerNormの配置(Pre-LN/Post-LN)を見直す設計相談。
- 「ResNetはなぜ100層以上でも学習できるのか」という質問への回答で残差接続の役割を説明する場面。
残差接続 (Residual Connection)に関連するAIツール
関連用語
「LLM / 言語モデル」の他の用語
Artificial Intelligence の略。人間の知能をコンピュータで再現する技術全般を指す。
Large Language Model の略。 膨大なテキストで学習した文章生成 AI。 ChatGPT / Claude / Gemini が代表例。
AI がそれっぽい嘘をつく現象。 学習データに無い情報を推測で生成してしまう。
AI が一度に扱える文章の長さ。 トークン数で表現される (例: Claude Opus 4.7 は 1M トークン)。
AI が扱う文字のかたまり。 日本語は 1 文字 ≒ 1 トークン、 英語は単語 ≒ 1 トークン。 料金計算の単位でもある。
文章・画像・音声・動画 を新規に作り出す AI 技術。 ChatGPT 以降の AI ブームの主役。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ