NVFP4 (4ビット浮動小数点)の定義
NVFP4とは、NVIDIAがBlackwell世代のGPU向けに導入した4ビット浮動小数点のデータ形式のことです。AIモデルを小さく軽くしても精度が落ちにくく、推論の高速化とメモリ節約に使われます。
- 開発元
- NVIDIA(Blackwell GPUアーキテクチャと同時に導入。技術解説は2025年6月公開)
- 仕組み
- 1値4ビット(E2M1)。16個ごとにFP8(E4M3)の倍率を共有し、さらにテンソル全体にFP32の倍率をかける2段階スケーリング
- MXFP4との違い
- MXFP4は32個ごとに2のべき乗の倍率を共有。NVFP4はブロックが半分の16個で倍率も細かいため、誤差が小さい
- 効果(NVIDIA公表)
- モデルのメモリ使用量はFP16比で約3.5分の1、FP8比で約1.8分の1。DeepSeek-R1-0528ではFP8比の精度低下が1%以内
- 対応ハード・ツール
- Blackwell世代GPU(データセンター向けGB200/GB300、GeForce RTX 50シリーズ)。TensorRT Model Optimizer、TensorRT-LLM、vLLM、ComfyUIなど
- 用途
- 主に推論の高速化。2025年8月にはNVIDIAがNVFP4での事前学習(4ビット学習)の手法も公表
NVFP4 (4ビット浮動小数点)とは(詳しく解説)
NVFP4は、AIモデルの数値を1つあたり4ビットで表すためのデータ形式です。NVIDIAがBlackwell世代のGPUとあわせて導入しました。ふつうAIモデルは16ビットや8ビットで数値を持ちますが、4ビットにすればモデルはぐっと小さくなり、計算も速くなります。問題は、ビット数を減らすほど精度が落ちやすいことでした。 NVFP4はこの弱点を、倍率(スケール)の工夫で補っています。数値を16個ずつの小さなグループに分け、グループごとにFP8の細かい倍率を持たせます。さらにテンソル全体にもFP32の倍率をかける2段構えです。先行するMXFP4は32個ごとに2のべき乗の倍率しか使えないため、NVFP4のほうが元の値に近く表せます。 NVIDIAの公表では、メモリ使用量はFP16の約3.5分の1、FP8の約1.8分の1。DeepSeek-R1-0528をFP8からNVFP4にしても、主要な評価での精度低下は1%以内でした。2025年8月には、推論だけでなく事前学習にNVFP4を使う手法も公表されています。 身近なところでは、GeForce RTX 50シリーズとComfyUIの組み合わせでNVFP4版の画像・動画モデルを使えます。ただし高速化が効くのはBlackwell世代のGPUで、ComfyUIではCUDA 13.0版のPyTorchが条件です。RTX 40シリーズ以前ならFP8版を選ぶのが無難です。
NVFP4 (4ビット浮動小数点)のよくある質問
Q. NVFP4はRTX 40シリーズでも使えますか?
NVFP4を高速に計算できるのは、FP4用の回路を持つBlackwell世代(RTX 50シリーズなど)です。ComfyUIの公式ブログでは、条件がそろえばfp8やbf16のモデルより約2倍速くなるとしています。
Q. ComfyUIでNVFP4モデルが遅いのはなぜですか?
ComfyUIは、CUDA 13.0(cu130)でビルドされたPyTorchのときだけNVFP4の高速化が効きます。それ以外の環境ではモデルは動くものの、fp8より最大2倍遅くなることがあると公式ブログが案内しています。
Q. NVFP4とMXFP4の違いは何ですか?
どちらも4ビットの浮動小数点形式です。MXFP4は32個単位で2のべき乗の倍率を使い、NVFP4は16個単位でFP8の細かい倍率を使います。そのぶんNVFP4のほうが精度を保ちやすい設計です。
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「NVFP4 (4ビット浮動小数点)とは」 https://aipicks.jp/glossary/nvfp4
NVFP4 (4ビット浮動小数点)の使用例
- モデル改修の相談で「NVFP4対応の量子化ライブラリはどれが安定していますか」と聞く
- 推論コスト見積もりで「FP8とNVFP4でスループットとメモリ使用量はどれくらい変わりますか」と確認する
NVFP4 (4ビット浮動小数点)に関連するAIツール
NVFP4 (4ビット浮動小数点)の関連記事
NVFP4 (4ビット浮動小数点)の関連用語
12カテゴリ・1815語以上を体系的に整理しています
