蒸留 (Distillation)
読み: じょうりゅう
最終更新: 2026-06-25・AI PICKS編集部
定義
蒸留とは、大規模な「教師モデル」の知識を小規模な「生徒モデル」に転移させ、軽量化・高速化を図る機械学習の手法のこと。
蒸留 (Distillation)とは — 詳しく解説
知識蒸留（Knowledge Distillation）は、Hintonらが2015年に提案した手法で、GPT-4やGemini Ultraのような巨大モデル（教師）の出力確率分布を教師信号として、より小型のモデル（生徒）を訓練する。生徒は正解ラベルだけでなく教師の「ソフトラベル」から暗黙的な知識を吸収するため、同規模モデルのゼロ学習より高性能になりやすい。 2026年の実運用では、クラウドAPIコストの高騰を背景に「商用LLMから自社オンプレモデルへの蒸留」を検討する企業が増えている。現場での落とし穴は3点：（1）教師モデルの利用規約が蒸留・転用を明示禁止しているケースが多い（OpenAI ToS等）、（2）汎用タスクへの蒸留は品質劣化が顕著でタスク特化が必須、（3）学習データ生成コストが数十〜数百万円規模になりROIが合わない場合がある。 AI PICKSが現場の事例から見る相場感では、7B〜13Bクラスへの蒸留で初期費用50〜200万円程度、推論コストはAPIの1/10以下になる場合が多い。月間リクエスト数が10万未満ならAPIのままの方がコスト効率は高く、蒸留の費用対効果が出るのは月50万リクエスト超が目安となっている。
蒸留 (Distillation)の使用例
- GPT-4の出力を教師データに7BパラメータのLlamaベースモデルを蒸留し、社内チャットボットのAPIコストを1/8に削減した事例。
- Gemini Proの要約品質を教師信号にオンプレ用3Bモデルを蒸留。推論レイテンシを200ms→50msに改善し、リアルタイム用途へ転用。
蒸留 (Distillation)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・102語以上を体系的に整理しています
辞典トップへ