GGUF (量子化モデル形式)
読み: じーじーゆーえふ
最終更新: 2026-07-14・AI PICKS編集部
定義
GGUFとは、大規模言語モデルを量子化し、CPUやローカル環境でも高速に動作させるためのファイル形式のこと。
GGUF (量子化モデル形式)とは — 詳しく解説
GGUFはllama.cppプロジェクト発の量子化済みモデル配布形式で、重みを4bitから8bit程度に圧縮し単一ファイルにまとめることで、GPUを持たないノートPCやスマートフォンでもLLM推論を可能にする。旧形式のGGMLを置き換える形で標準化が進み、Hugging Face上でも多くのオープンモデルがGGUF版として配布されている。実運用では量子化ビット数を下げるほどモデルサイズと推論コストは下がる一方、出力精度や指示追従性が目に見えて劣化する場合があるとされ、現場ではQ4からQ8まで複数の量子化レベルを試してから選定する運用が広く採用されている。2026年時点ではクラウドAPI利用のコストを避けたいオンプレ・エッジ用途での採用が目立つが、劣化の許容度は業務要件次第で変わるため精度検証を省略しない相場感の見極めが推奨される。
GGUF (量子化モデル形式)の使用例
- Llama 3 8BのGGUF版(Q4_K_M)をMacBookのllama.cppでロードしてローカルチャットを試す。
- Hugging FaceでGGUF量子化版モデルを検索し、Q5とQ8の応答品質を比較してから採用ビット数を決める。
GGUF (量子化モデル形式)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・552語以上を体系的に整理しています
辞典トップへ