GQA (グループ化クエリ注意)
読み: じーきゅーえー
最終更新: 2026-07-09・AI PICKS編集部
定義
GQA（グループ化クエリ注意）とは、複数のクエリヘッドでKeyとValueをグループ単位で共有し、推論時のメモリ使用量と計算コストを抑える注意機構の一種のこと。
GQA (グループ化クエリ注意)とは — 詳しく解説
GQA（Grouped Query Attention）は、Transformerの注意機構において複数のクエリヘッドを少数のグループにまとめ、KeyとValueをグループ内で共有する手法だ。Multi-Head Attention（MHA）がヘッドごとに個別のKey/Valueを持つのに対し、GQAはグループ単位で共有することでKVキャッシュのメモリ容量を大幅に削減し、推論速度を高める。Llama 2/3やMistral系モデルなど2026年時点で主要なオープンウェイトLLMの多くが採用しており、事実上の業界標準になっているとされる。実運用では、グループ数を減らすほど推論コストは下がる一方、Multi-Query Attention（MQA）に近づきすぎると出力品質がわずかに劣化する傾向があるとされ、現場ではグループ数を品質とコストのバランスで選定する必要がある。特に長いコンテキストを扱うRAGやエージェント用途ではKVキャッシュ膨張が相場感として大きな課題になりやすく、GQA採用モデルを選ぶかどうかがサービス全体のインフラコストを左右する。
GQA (グループ化クエリ注意)の使用例
- Llama 3やMistralなど主要オープンウェイトLLMの多くがGQAを採用し、KVキャッシュ削減とレイテンシ改善を両立している。
- 推論基盤を選ぶ際は、GQAのグループ数設定がスループットとコストにどう効くかをベンチマークで確認するとよい。
GQA (グループ化クエリ注意)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・452語以上を体系的に整理しています
辞典トップへ