ガイド
定義
Mixture of Depths(深さ混合)とは、Transformerの各層でトークンごとに計算を通すかスキップするかを動的に判定し、計算資源を条件付きで配分する手法のこと。
Mixture of Depths (深さ混合)とは（詳しく解説）
Mixture of Depths(MoD、深さ混合)とは、Transformerの各層において全トークンに一律で計算を割り当てるのではなく、ルーティング機構がトークンごとに「その層の計算を通すか、スキップするか」を動的に判定し、計算資源を条件付きで配分するアーキテクチャとされる。Mixture of Expertsが専門家(パラメータ)の選択に条件分岐を持ち込んだのに対し、MoDは層の深さ方向に条件分岐を持ち込む点が特徴で、同等の性能をより少ないFLOPsで達成できるとされる。2026年時点の実運用では、MoD単体よりもMoE(Mixture of Experts)と組み合わせたハイブリッド構成での採用例が目立ち、既存の密なTransformerを丸ごと置き換えるより、推論コストを抑えたいレイヤーに部分適用する形が現場では選ばれやすい。落とし穴としては、ルーティングの判定基準が学習データに強く依存するため、想定外の入力分布ではスキップ判定が不安定になりやすく、品質劣化の検知には別途評価パイプラインが必要になる点が挙げられる。自前で導入する場合はルーティング学習の追加コストと相場感を踏まえ、まず小規模モデルでの検証から始めるのが現場の定石とされる。
Mixture of Depths (深さ混合)の使用例
- 推論コストを抑えたいAPI基盤チームが、既存Transformer層の一部にMoDを部分適用しFLOPs削減を検証する。
- MoEモデルの学習パイプラインに深さ方向のルーティングを追加し、精度とレイテンシのトレードオフを比較する。
