DeepInferは、DeepSeekがApache 2.0ライセンスで公開した大規模言語モデル向けの推論フレームワークです。vLLMやSGLangの設計を取り入れつつ、専用最適化カーネル、分散推論、投機的デコーディングを実装しています。特定GPU(NVIDIA SM100世代等)やNPU環境における推論処理効率の向上を目的としており、自前の推論クラスタを構築・運用するインフラエンジニアや研究者を対象とします。特定ハードウェアでのスループット最大化と計算資源コストの抑制に特化しています。