本ページはプロモーションを含みます(掲載基準)
テンソル並列 (Tensor Parallelism)の定義
テンソル並列とは、巨大なニューラルネットワークの1層内の行列演算を複数のGPUに分割し、同時並行で計算させる並列化手法のこと。
テンソル並列 (Tensor Parallelism)に関連するツール
テンソル並列 (Tensor Parallelism)とは(詳しく解説)
テンソル並列は、モデル並列化の一種で、Transformerの各層にある巨大な重み行列(Attentionや MLPの演算)を列方向・行方向に分割し、複数のGPUに配置して同時に計算を進める手法とされる。1つのGPUに載らないほど巨大なパラメータを扱う大規模言語モデルの学習・推論で広く採用されており、Megatron-LMなどのフレームワークで実装が普及している。パイプライン並列やデータ並列と組み合わせて使われることが多く、GPU間の通信オーバーヘッドが性能を左右するため、同一ノード内の高速なNVLink接続で構成するのが定石とされる。
テンソル並列 (Tensor Parallelism)を調べた人に
Claude
非エンジニア向けの講座や、トークン消費を抑えるプラグインがあります。
XServer VPSClaude Codeで作ったアプリを公開する置き場に。Dockerのアプリイメージを選んで申し込めるVPS
VPS(Dify・n8n の自前運用) / プランと料金は公式で確認

この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます(CC BY 4.0)。
出典: AI PICKS AI用語辞典「テンソル並列 (Tensor Parallelism)とは」 https://aipicks.jp/glossary/tensor-parallelism
テンソル並列 (Tensor Parallelism)の使用例
- 175BパラメータのGPTモデルをテンソル並列度8で分割し、GPUノード内で学習する構成。
- 推論時にもテンソル並列を使い、巨大モデルを複数GPUで分担してレイテンシを抑える構成。
テンソル並列 (Tensor Parallelism)に関連するAIツール
テンソル並列 (Tensor Parallelism)の関連記事
テンソル並列 (Tensor Parallelism)の関連用語
用語がわかったら、次はツール選び
12カテゴリ・860語以上を体系的に整理しています
