定義
AWQとは、活性化値の分布をもとに重要な重みだけ精度を保ち、他を低ビット化するLLM量子化手法のこと。
AWQ (活性化考慮量子化)とは（詳しく解説）
AWQ(Activation-aware Weight Quantization)は、LLMの重みを4bit程度まで圧縮する量子化手法の一つとされる。活性化値の大きさを事前に観測し、出力への影響が大きい重み列を保護しながら量子化することで、GPTQ等の単純な量子化より精度劣化を抑えやすいとされ、推論用フレームワークで広く採用されている。2026年時点の実運用では、圧縮率を上げるほど長文推論や多段の指示追従タスクで精度劣化が目立ちやすい落とし穴が指摘されており、量子化前後の出力比較による検証が欠かせないとされる。コスト面では、モデルサイズ縮小によりGPU VRAM使用量とホスティング費用を大きく下げられる一方、量子化・検証にかかる作業工数も相場感として無視できない。現場での選び方としては、まず16bitやINT8等軽めの量子化で挙動を確認し、コスト制約が強い場合にAWQのような重み量子化へ段階的に移行する進め方が現実的とされる。
AWQ (活性化考慮量子化)の使用例
- 「vLLMでAWQ量子化した7Bモデルをオンプレサーバにデプロイし、VRAM使用量を約4割削減する」
- 「量子化前後でベンチマークスコアを比較し、AWQで許容できる精度劣化かを判断する」
