FSDP (完全シャード化データ並列)

FSDP (完全シャード化データ並列)とは — 詳しく解説

FSDPとは、PyTorchが提供する分散学習手法で、モデルのパラメータ・勾配・オプティマイザ状態を全GPUに複製せず断片（シャード）に分けて各デバイスに保持する点が特徴とされる。従来のDDPではGPUごとにモデル全体を複製するためメモリを消費しやすいが、FSDPはシャーディングにより同じGPU台数でもより大きなモデルを学習できる手法として広く採用されている。2026年時点の実運用では、通信オーバーヘッドの増加でスループットがDDPより落ちる場面があり、シャーディング粒度やプリフェッチ設定を現場でチューニングする必要がある点が落とし穴として知られる。またA100/H100クラスを複数枚束ねる構成が前提となるため、クラウドGPUのコストは月数十万円から数百万円規模になりやすく、小規模ならLoRAなどのPEFT、大規模学習が必須ならFSDPを選ぶという相場感で現場は判断することが多い。

FSDP (完全シャード化データ並列)に関連するAIツール

Cursor 3

3.17フリーミアム

Windsurf Editor

3.11フリーミアム

Rift-code

1.98フリーミアム

Sourcery

1.99フリーミアム

LLM Wizard

1.94有料

関連用語

「インフラ・学習」の他の用語