OpenAI Codexの発表内容
オープンソースの推論(AIが計算して回答を出す処理)エンジン「Magnitude」が公開され、「OpenAI Codex」などのエージェントとのワンクリック接続に対応しました。使用しているパソコンに合わせて処理を自動で調整し、オープンモデルの動作を速くします。
端末上で計算処理を調整する仕組みにより、「llama.cpp」と比べて最大2倍の速度で動作します。回答の生成(デコード)はMetalで92%、CUDAで19%高速化し、エージェントごとのメモリ使用量も27%削減します。
料金は無料で、AppleシリコンやNVIDIA製GPU、AMD製GPU、CPUのみの環境で動きます。OSはmacOS、Windows、Linuxに対応します。端末内で処理が完結するため、入力した指示文やファイルが外部に出る心配はありません。
「OpenAI Codex」などのエージェントを手元のオープンモデルで動かしている人は、トークン費用をかけずに処理を速くできます。複数のセッションは共通部分のキャッシュを共有し、速度の低下を防ぎます。
つまり、どういうこと?
自分のパソコンの性能にぴったり合わせた専用の部品をその場で作ってくれる仕組みです。
これまでの推論ソフトは、どんな車にも合う標準タイヤを履かせて走るような状態でした。「Magnitude」は手持ちのチップに合わせて走りを調整するため、追加の費用をかけずにオープンモデルの応答を速くできます。
誰に関係するか
「OpenAI Codex」などのエージェントを自分のパソコン上のオープンモデルで動かしている人は、トークン費用なしで「llama.cpp」より最大2倍の速さで動かせるようになります。


