ガイドNEW
AI用語辞典インフラ・学習
ロススパイク (学習の発散)
読み: ろすすぱいく
最終更新: 2026-08-06・AI PICKS編集部
定義
ロススパイクとは、 LLM の事前学習中に 損失値 (loss) が突然跳ね上がり、 学習が不安定化・発散する現象のこと。
ロススパイク (学習の発散)とは — 詳しく解説
ロススパイクとは、 ニューラルネットワークの事前学習中に 損失関数の値 (loss) が 数値的な異常や勾配の急変により 突発的に跳ね上がる現象のこと。 一般に 学習率が高すぎる場合や データセット内の異常サンプル、 数値精度 (bf16/fp8 混合精度) の丸め誤差の蓄積が 主な原因とされる。 業界標準の対処としては チェックポイントから直前状態へ巻き戻す 「ロールバック」 や 学習率の一時的な引き下げ、 勾配クリッピングの強化が広く採用されている。 2026年時点の実運用では、 大規模モデルの学習を専門ベンダーに委託するケースが増えており、 数千万〜数億円規模の学習コストが スパイク 1 回の巻き戻しで数百万円単位の追加費用になることもある。 現場での選び方としては、 学習インフラを自前で持つより 監視・自動ロールバック機能を備えたマネージド学習基盤を選ぶほうが 相場感として総コストを抑えやすいとされる。 自社で LLM をファインチューニングする際は 損失曲線の監視体制を事前に整えておくことが重要。
ロススパイク (学習の発散)の使用例
- 大規模モデル学習でlossが数千step目に突然倍増するケースは、学習率の初期設定ミスが典型的な原因とされる。
- プロンプト例:「このloss曲線の急上昇について、学習率・データ品質・混合精度のどれが原因か切り分けて」
ロススパイク (学習の発散)に関連するAIツール
ロススパイク (学習の発散)の関連記事
関連用語
「インフラ・学習」の他の用語
ファインチューニング
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
機械学習
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ディープラーニング
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Transformer
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
Attention 機構
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRA (Low-Rank Adaptation)
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
用語がわかったら、次はツール選び
12カテゴリ・1363語以上を体系的に整理しています