モダリティ融合 (Early/Late Fusion)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。画像診断AIで、CTスキャン画像とカルテのテキスト情報をLate Fusionで統合し、総合的な診断支援スコアを出す設計。/音声アシスタントで、音声波形とその書き起こしテキストをEarly Fusionで結合し、感情認識精度を高める設計。

AI用語辞典LLM / 言語モデル

モダリティ融合 (Early/Late Fusion)

Q: モダリティ融合 (Early/Late Fusion)とは何ですか？

モダリティ融合とは、テキストや画像、音声など異なる種類のデータをAIモデル内部で組み合わせて処理する技術のこと。モダリティ融合とは、テキスト・画像・音声など複数種類のデータを一つのAIモデル内で統合処理する手法の総称で、統合のタイミングによりEarly FusionとLate Fusionに大別されるとされる。Early Fusionは入力段階で各モダリティの特徴量を結合してから学習する方式で、相互作用を深く捉えやすい反面、学習コストが膨らみやすい。Late Fusionはモダリティごとに専用モデルを個別処理し、最終段階で結果を統合する方式で、既存モデルを流用しやすく実運用での柔軟性が高いとされる。

読み: もだりてぃゆうごう

最終更新: 2026-07-30・AI PICKS編集部

定義

モダリティ融合とは、テキストや画像、音声など異なる種類のデータをAIモデル内部で組み合わせて処理する技術のこと。

モダリティ融合 (Early/Late Fusion)とは — 詳しく解説

モダリティ融合とは、テキスト・画像・音声など複数種類のデータを一つのAIモデル内で統合処理する手法の総称で、統合のタイミングによりEarly FusionとLate Fusionに大別されるとされる。Early Fusionは入力段階で各モダリティの特徴量を結合してから学習する方式で、相互作用を深く捉えやすい反面、学習コストが膨らみやすい。Late Fusionはモダリティごとに専用モデルを個別処理し、最終段階で結果を統合する方式で、既存モデルを流用しやすく実運用での柔軟性が高いとされる。2026年時点の現場では、マルチモーダルLLMがAPI内部でこの融合処理を担うため自前設計の機会は減った一方、独自データでのファインチューニングでは方式選定が依然必要になる。落とし穴として、モダリティ間の品質差が大きいと精度が引きずられて落ちる点が知られ、相場感としてはEarly Fusion型の自社学習は計算コストが数倍規模に膨らみやすいため、まずLate Fusion構成で小さく検証してから統合度を上げる選び方が現場では採られやすい。