MLA (多頭潜在注意)
読み: えむえるえー
最終更新: 2026-07-17・AI PICKS編集部
定義
MLA(多頭潜在注意)とは、Transformerの推論時にKVキャッシュを低ランクの潜在ベクトルに圧縮し、メモリ使用量と計算コストを削減するAttention機構の改良版のこと。
MLA (多頭潜在注意)とは — 詳しく解説
MLAは、標準的なMulti-Head Attention(MHA)でヘッドごとに個別保持していたKey/Valueを、低ランクの潜在ベクトルに圧縮してから推論時に復元する手法で、DeepSeek-V2で提案されGQAやMQAより少ないKVキャッシュで同等以上の精度を狙う設計とされる。長文脈の推論ではKVキャッシュのメモリ量が推論コストとGPU台数を左右するため、コンテキスト長が数十万トークンに達する2026年の実運用では採否の分かれ目になりやすい。現場での落とし穴は、vLLMやSGLangなど推論エンジン側の専用カーネル対応が追いついていないと理論上のメモリ削減効果が出ない点と、潜在ベクトルの量子化を粗く行うと精度劣化が起きやすい点。自社基盤を選ぶ際は、モデルの理論値だけでなく利用予定の推論エンジンがMLAに最適化されているかを先に確認するのが相場観としての定石とされる。
MLA (多頭潜在注意)の使用例
- 自社のvLLM基盤にMLA対応モデルを載せる場合、KVキャッシュのメモリ削減効果とカーネル対応状況を教えて。
- MHAとMLAのKVキャッシュサイズの違いを、100万トークンのコンテキストを想定して比較して。
MLA (多頭潜在注意)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・663語以上を体系的に整理しています
辞典トップへ