学習率 (Learning Rate)
読み: がくしゅうりつ
最終更新: 2026-07-24・AI PICKS編集部
定義
学習率(Learning Rate)とは、ニューラルネットワークの学習でパラメータをどれだけ大きく更新するかを決めるハイパーパラメータのこと。
学習率 (Learning Rate)とは — 詳しく解説
学習率(Learning Rate)とは、勾配降下法でモデルパラメータを更新する際の一回あたりのステップ幅を制御するハイパーパラメータで、値が大きすぎると損失が発散し、小さすぎると収束に時間がかかるとされる。ディープラーニングの学習における最も基本的な調整対象の一つとして、業界標準的にAdamやSGDなどの最適化アルゴリズムとセットで語られる。2026年時点の実運用では、学習率を固定せず、ウォームアップ後にコサインスケジュールや線形減衰で徐々に下げるスケジューリングが広く採用されており、Fine-tuningやLoRAのような追加学習でも事前学習時より小さい学習率を使うのが現場の定石とされる。落とし穴としては、学習率が高すぎて損失がNaNになったり、逆に低すぎて計算コストとGPU利用時間ばかりがかさむ問題が挙げられ、クラウドGPUの相場感を踏まえると学習率探索自体のコスト管理も現場の重要な観点になる。ツール選定やライブラリ利用の場面では、自動チューニング機能や推奨デフォルト値を備えたフレームワークを使い、経験則だけに頼らない設定が推奨される。
学習率 (Learning Rate)の使用例
- Fine-tuning時に学習率を事前学習の1/10程度に下げてから再学習を始める。
- 学習曲線の損失が振動する場合、学習率を半分に下げて再実行し収束を確認する。
学習率 (Learning Rate)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・913語以上を体系的に整理しています
辞典トップへ