グロッキング (突発的汎化)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。小規模なTransformerに剰余演算を学習させると、訓練精度が100%に達した後も数千stepを経てから検証精度が急上昇する例が典型とされる。/ファインチューニングを早期終了しすぎて汎化前に打ち切っていないか、を検討する際にグロッキングの概念が引用されることが多い。

AI用語辞典インフラ・学習

グロッキング (突発的汎化)

読み: ぐろっきんぐ

最終更新: 2026-07-13・AI PICKS編集部

定義

グロッキングとは、ニューラルネットワークが訓練データを暗記した状態のまま学習を続けた末に、ある時点で汎化性能が急激に向上する現象のこと。

グロッキング (突発的汎化)とは — 詳しく解説

グロッキング(Grokking)とは、ニューラルネットワークが訓練データへの過学習(丸暗記)状態に長くとどまった後、追加の学習を続けることで突然汎化性能が跳ね上がる現象を指す。2022年にOpenAIの研究者が算術タスクの学習実験で報告し、以降は正則化(weight decay)や十分な学習ステップ数が発生条件として広く議論されてきた。2026年時点の実運用では、この現象を狙って学習を止めずに回し続ける判断はコスト面のリスクが大きいとされる。GPUクラウドの時間課金では、汎化が起きるかどうか分からないまま学習を延長すると相場感を超えたコスト超過につながりやすく、現場では損失曲線の停滞だけで学習を打ち切らず検証データの精度も継続的にモニタリングする運用が推奨される。自社で追加学習・ファインチューニングを行う場合は、事前にステップ数とコストの上限を決めた上で汎化の兆候(検証精度の急上昇)を監視する仕組みを組み込むのが実務上の選び方とされる。