テンソル並列 (Tensor Parallelism)
読み: てんそるへいれつ
最終更新: 2026-07-06・AI PICKS編集部
定義
テンソル並列とは、巨大なニューラルネットワークの1層内の行列演算を複数のGPUに分割し、同時並行で計算させる並列化手法のこと。
テンソル並列 (Tensor Parallelism)とは — 詳しく解説
テンソル並列は、モデル並列化の一種で、Transformerの各層にある巨大な重み行列(Attentionや MLPの演算)を列方向・行方向に分割し、複数のGPUに配置して同時に計算を進める手法とされる。1つのGPUに載らないほど巨大なパラメータを扱う大規模言語モデルの学習・推論で広く採用されており、Megatron-LMなどのフレームワークで実装が普及している。パイプライン並列やデータ並列と組み合わせて使われることが多く、GPU間の通信オーバーヘッドが性能を左右するため、同一ノード内の高速なNVLink接続で構成するのが定石とされる。2026年時点の実運用では、通信帯域がボトルネックになりやすく、ノードをまたぐテンソル並列は現場で敬遠される傾向にある。また大規模クラスタの構築・運用コストは高額になりやすく、相場感としてはクラウドGPUインスタンスの時間課金だけでも高コストになりがちなため、必要な並列度を見極めてから構成を選ぶことが現場での基本方針とされる。
テンソル並列 (Tensor Parallelism)の使用例
- 175BパラメータのGPTモデルをテンソル並列度8で分割し、GPUノード内で学習する構成。
- 推論時にもテンソル並列を使い、巨大モデルを複数GPUで分担してレイテンシを抑える構成。
テンソル並列 (Tensor Parallelism)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・402語以上を体系的に整理しています
辞典トップへ