AWQ (活性化考慮量子化)
読み: えーだぶりゅーきゅー
最終更新: 2026-07-21・AI PICKS編集部
定義
AWQとは、活性化値の分布をもとに重要な重みだけ精度を保ち、他を低ビット化するLLM量子化手法のこと。
AWQ (活性化考慮量子化)とは — 詳しく解説
AWQ(Activation-aware Weight Quantization)は、LLMの重みを4bit程度まで圧縮する量子化手法の一つとされる。活性化値の大きさを事前に観測し、出力への影響が大きい重み列を保護しながら量子化することで、GPTQ等の単純な量子化より精度劣化を抑えやすいとされ、推論用フレームワークで広く採用されている。2026年時点の実運用では、圧縮率を上げるほど長文推論や多段の指示追従タスクで精度劣化が目立ちやすい落とし穴が指摘されており、量子化前後の出力比較による検証が欠かせないとされる。コスト面では、モデルサイズ縮小によりGPU VRAM使用量とホスティング費用を大きく下げられる一方、量子化・検証にかかる作業工数も相場感として無視できない。現場での選び方としては、まず16bitやINT8等軽めの量子化で挙動を確認し、コスト制約が強い場合にAWQのような重み量子化へ段階的に移行する進め方が現実的とされる。
AWQ (活性化考慮量子化)の使用例
- 「vLLMでAWQ量子化した7Bモデルをオンプレサーバにデプロイし、VRAM使用量を約4割削減する」
- 「量子化前後でベンチマークスコアを比較し、AWQで許容できる精度劣化かを判断する」
AWQ (活性化考慮量子化)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・813語以上を体系的に整理しています
辞典トップへ