エキスパート並列 (Expert Parallelism)
読み: えきすぱーとへいれつ
最終更新: 2026-07-26・AI PICKS編集部
定義
エキスパート並列とは、Mixture of Experts（MoE）モデルの各エキスパート（専門家サブネット）を複数のGPUに分散配置し、並列に計算させる分散学習・推論手法のこと。
エキスパート並列 (Expert Parallelism)とは — 詳しく解説
エキスパート並列（Expert Parallelism）は、MoE（Mixture of Experts）型モデルで多数のエキスパートを単一デバイスに載せず、複数GPUやノードに分割配置して計算を並列化する分散学習・推論手法で、業界標準ではデータ並列やテンソル並列と組み合わせたハイブリッド構成が広く採用されている。2026年時点の実運用では、エキスパートへのトークン振り分けが偏るとGPU間の負荷が不均衡になり、通信オーバーヘッドがボトルネックになりやすい点が現場での落とし穴とされる。相場感としては大規模MoEモデルの学習・推論には高速インターコネクト(NVLinkやInfiniBand)を備えたマルチGPUクラスタが前提となり、コストは密なモデルより訓練は安く済む一方、推論時のメモリ・通信コストが増えやすいとされる。現場での選び方としては、モデル規模と保有インフラの通信帯域を見極めた上で、既存のOSSフレームワーク実装を流用するのが定石とされる。
エキスパート並列 (Expert Parallelism)の使用例
- 8基のGPUでMoEモデルを学習する場合、各GPUに一部のエキスパートを配置し、ルーティング結果に応じてトークンを転送する構成が一般的とされる。
- 推論時にエキスパート並列を使う場合、ルーティングの偏りを防ぐため負荷分散用の補助ロス(load balancing loss)を併用することが多いとされる。
エキスパート並列 (Expert Parallelism)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・1013語以上を体系的に整理しています
辞典トップへ