ds4は、antirez氏が公開しているDeepSeek V4 Flash(284B規模のMoEモデル)専用のローカル推論エンジンです。汎用のGGUFランナーではなく、DS4向けのモデル読み込みとKV状態管理を実装した特化型で、OpenAI互換・Anthropic互換のHTTPサーバーAPIを備えます。対応環境はMetal、CUDA、ROCmで、PROモデルにも対応します。2ビット量子化での動作や、キャッシュの保存・復元もサポートします。推論エンジンのみでコーディング用ハーネスは含まれないため、利用側のツールからAPIエンドポイントとして接続します。ローカルで大規模モデルを動かしたい開発者向けです。