本ページはプロモーションを含みます（掲載基準）
AdamW (最適化アルゴリズム)の定義
AdamWとは、深層学習で定番の最適化手法Adamを改良し、重み減衰（weight decay）を勾配の更新から切り離してかけるようにした最適化アルゴリズムのことです。
- 英語表記
- AdamW（Adam with decoupled weight decay）
- 提唱
- Ilya Loshchilov、Frank Hutter の論文「Decoupled Weight Decay Regularization」（arXiv 2017年11月、ICLR 2019）
- Adamとの違い
- 重み減衰をモーメントや分散の計算に混ぜず、パラメータに直接かける
- 主な実装
- PyTorch の torch.optim.AdamW（weight_decay の既定値は0.01）
- 使われる場面
- Hugging Face Transformers の Trainer では既定の最適化手法（adamw_torch、PyTorch 2.8以降は adamw_torch_fused）
AdamW (最適化アルゴリズム)とは（詳しく解説）
AdamWは、深層学習のモデルを学習させるときに使う最適化アルゴリズムです。最適化アルゴリズムとは、モデルの重みを少しずつ動かして誤差を減らしていく手順のことです。2017年にIlya LoshchilovとFrank Hutterが論文「Decoupled Weight Decay Regularization」で提案し、ICLR 2019で発表されました。 元になったAdamでは、過学習を抑える重み減衰をL2正則化として勾配に足していました。この方法だと、Adamが重みごとに学習率を調整する仕組みと混ざってしまい、重み減衰が狙いどおりに効きません。AdamWは重み減衰を勾配の計算から切り離し、パラメータに直接かけることでこの問題を解消しました。論文では、L2正則化を使ったAdamより汎化性能（初めて見るデータへの強さ）が良くなると報告されています。 現在はPyTorchに torch.optim.AdamW として標準で入っています。Hugging Face TransformersのTrainerでも、指定しなければAdamW系が使われます。LLMのファインチューニングを試すと、多くの場合知らないうちにAdamWを使っていることになります。 実務での注意点は、学習率とweight_decayの組み合わせです。モデルの大きさやデータ量で合う値が変わるため、他人の設定をそのまま流用すると学習が不安定になることがあります。小さなファインチューニングならライブラリの既定値から始め、損失の下がり方を見ながら学習率とウォームアップを調整するのが無難です。
AdamW (最適化アルゴリズム)を調べた人に
AIで
エディタのAIを使いこなしたい人向けの講座と、コードなしで作れるツールです。
初月10ドルオフ（新規ユーザー）
Claude CodeやCursorへの指示を声で入力できる。日本語にも対応し、Mac・Windowsのどの入力欄でも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
AdamW (最適化アルゴリズム)のよくある質問
Q. AdamとAdamWの違いは何ですか？
Adamは重み減衰をL2正則化として勾配に足すため、学習率の調整に引きずられて効き方がぶれます。AdamWは重み減衰を勾配から切り離してパラメータに直接かけるので、正則化が狙いどおりに効きます。
Q. AdamWはどう読みますか？
「アダムダブリュー」と読むのが一般的です。Adam（アダム）にweight decayの頭文字Wを付けた名前です。
Q. AdamWはどうやって使いますか？
PyTorchでは torch.optim.AdamW にモデルのパラメータと学習率、weight_decay を渡すだけで使えます。Hugging FaceのTrainerなら、何も指定しなくてもAdamW系が使われます。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「AdamW (最適化アルゴリズム)とは」 https://aipicks.jp/glossary/adamw
AdamW (最適化アルゴリズム)の使用例
- PyTorchでは torch.optim.AdamW(model.parameters(), lr=2e-5, weight_decay=0.01) のように指定して使う。
- Hugging Face TrainerはデフォルトoptimizerにAdamWを採用しており、明示指定なしでも自動的に使われる。
AdamW (最適化アルゴリズム)に関連するAIツール
AdamW (最適化アルゴリズム)の関連記事
AdamW (最適化アルゴリズム)の関連用語
12カテゴリ・1854語以上を体系的に整理しています