ガイド
AI用語辞典インフラ・学習
AdamW (最適化アルゴリズム)
読み: あだむだぶりゅー
最終更新: 2026-08-06・AI PICKS編集部
定義
AdamWとは、Adam最適化アルゴリズムの重み減衰(weight decay)計算を勾配更新から分離し、過学習を抑えやすくした改良版の最適化手法のこと。
AdamW (最適化アルゴリズム)とは — 詳しく解説
AdamWは深層学習モデルの学習で標準的に使われる最適化アルゴリズムで、従来のAdamがL2正則化を勾配に混ぜ込んでいた問題を修正し、重み減衰を勾配更新と独立に適用する。これにより汎化性能が上がりやすく、Transformer系モデルの事前学習・ファインチューニングで既定の選択肢として広く採用されているとされる。実運用での落とし穴は学習率とweight decay値の組み合わせがモデル規模ごとに大きく変わる点で、他モデル向けの値をそのまま流用すると収束が不安定になったり過学習が悪化したりしやすい。現場では小規模なファインチューニング用途ならHugging Face等のデフォルト値から始め、コストの大きい事前学習規模になるほどwarmupやweight decayを個別にチューニングする判断が必要になる。2026年時点でもAdamW派生のLion・Sophia等が研究段階で提案されているが、実運用の相場感としてはAdamWが依然デファクトスタンダードの位置づけにある。
AdamW (最適化アルゴリズム)の使用例
- PyTorchでは torch.optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) のように指定して使う。
- Hugging Face TrainerはデフォルトoptimizerにAdamWを採用しており、明示指定なしでも自動的に使われる。
AdamW (最適化アルゴリズム)に関連するAIツール
AdamW (最適化アルゴリズム)の関連記事
関連用語
「インフラ・学習」の他の用語
ファインチューニング
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
機械学習
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ディープラーニング
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Transformer
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
Attention 機構
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRA (Low-Rank Adaptation)
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
用語がわかったら、次はツール選び
12カテゴリ・1363語以上を体系的に整理しています