Sakana AIの発表内容
「Sakana AI」は、約1兆パラメータのAIモデル「Sakana Namazu」の推論を最適化しました。クラウド基盤を手がけるModal社と協力し、公開API（外部から利用する窓口）の提供に向けて配備を進めています。
日本語の指示に従う性能を維持しながら、GPUメモリの削減と処理の高速化を両立させています。
回答を先読みする小型モデルの改良により、1回ごとの受理トークン数は3.51から5.01へと43%向上しました。応答遅延は68秒から52秒へと短縮され、順番待ちが発生するまでに処理できる通信量が約40%増加しています。
「Sakana Namazu」は、日本のビジネス文書やウェブ検索、プログラム実行に特化した設計です。推論の効率化によって待機時間が抑えられ、APIを連携させた業務処理を安定して素早く実行できます。
つまり、どういうこと？
ざっくり言うと、巨大なAIを動かす無駄を削り、回答を先回りして予測させることで、返答までの時間を短縮したということです。
たとえるなら、ベテラン社員がすべてを一から書くのではなく、助手が先回りして下書きを用意し、確認作業をまとめて終わらせている状態です。日本語の精度を落とすことなく、待ち時間を減らしています。
編集部の見方
約1兆パラメータという超巨大モデルでありながら、最大遅延が68秒から52秒まで縮んだという数字にはかなり驚きました。AIを業務システムに組み込む際、最大の障壁になるのがレスポンスの遅さです。
速さは実用性。
ただ、どれほど高速化しても、APIの利用料金が高額であれば現場への導入は進みません。業務で日常的に使いたい人なら、正式提供時の課金体系や同時アクセスの制限枠がどう設定されるかが判断の分かれ目になりそうです。次は一般公開が始まるタイミングで公表されるであろう「Sakana Namazu」の料金表を確かめたいところです。
誰に関係するか
日本のビジネス業務やプログラム実行を自動化している人は、API経由での処理の順番待ちを減らして素早く結果を受け取れるようになります。
出典: modal.com ↗
