混合精度学習 (Mixed Precision)
読み: こんごうせいどがくしゅう
最終更新: 2026-07-27・AI PICKS編集部
定義
混合精度学習とは、ニューラルネットワークの学習でFP16やBF16などの低精度演算とFP32の高精度演算を使い分け、計算速度とメモリ効率を高める手法のこと。
混合精度学習 (Mixed Precision)とは — 詳しく解説
混合精度学習は、FP32（単精度）とFP16／BF16（半精度）などビット幅の異なる浮動小数点演算を組み合わせ、学習速度の向上とGPUメモリ使用量の削減を両立させる技術で、NVIDIAのApex／AMPやPyTorchのtorch.cuda.ampなどで標準的にサポートされている。勾配のアンダーフローを防ぐためのloss scalingとセットで使うのが一般的とされる。2026年時点の実運用では、BF16対応GPU（A100以降）であれば導入のハードルは低く、多くの学習パイプラインでデフォルト有効化されているが、古い実装の一部やLayerNormのように数値的に不安定な演算はFP32に固定する必要があり、精度劣化に気づかないまま学習を進めてしまう落とし穴がある。現場での選び方としては、まずBF16を既定にし、FP16はメモリ制約が厳しくスケーリング調整のコストが見合う場合のみ検討するのが、コスト感も含めた妥当な判断とされる。
混合精度学習 (Mixed Precision)の使用例
- PyTorchでtorch.cuda.amp.autocast()を使い、順伝播をBF16で実行しつつ最適化ステップだけFP32で行う設定にする。
- GPUメモリ不足でバッチサイズを上げられない学習ジョブに混合精度を導入し、同じVRAMでバッチサイズを倍にする。
混合精度学習 (Mixed Precision)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・1063語以上を体系的に整理しています
辞典トップへ