OpenAI Codexの発表内容
オープンソースの推論（AIが計算して回答を出す処理）エンジン「Magnitude」が公開され、「OpenAI Codex」とのワンクリック接続に対応しました。使用しているパソコンに合わせて処理を自動で調整し、AIの動作を速くします。
端末上で計算処理を調整する仕組みにより、「llama.cpp」と比べて最大2倍の速度で動作します。画面への出力処理はMetalで92%、CUDAで19%高速化し、エージェントごとのメモリ使用量も27%削減します。
料金は無料で、AppleシリコンやNVIDIA製GPU、AMD製GPU、CPUのみの環境で動きます。OSはmacOS、Windows、Linuxに対応します。端末内で処理が完結するため、入力した指示文やファイルが外部に出る心配はありません。
手元のパソコンで「OpenAI Codex」を動かしている人は、追加の費用をかけずに処理待ちの時間を減らせます。複数の作業を同時に進める際も、メモリを効率よく使いながら作業を早く終わらせることができます。
つまり、どういうこと？
ひらたく言うと、自分のパソコンの性能にぴったり合わせた専用の部品をその場で作ってくれる仕組みです。
これまでの推論ソフトは、どんな車にも合う標準タイヤを履かせて走るような状態でした。「Magnitude」は手持ちのチップに合わせて走りを調整するため、追加の費用をかけずに「OpenAI Codex」の応答を速くできます。
編集部の見方
手元のパソコン上で処理をその場で調整し、最大2倍の速度を出すというアプローチに筆者はかなり驚きました。これまでの環境では共通のエンジンをそのまま使うのが当たり前だっただけに、チップに合わせる発想は盲点でした。
PCの性能を使い切る工夫。
ただ、ローカルで重いモデルを動かすハードルの高さはまだ残っています。「OpenAI Codex」を業務で日常的に動かすなら、まずは手持ちのMacで無料枠の動作感を確かめてみるのが筋になりそうです。冬に登場する次世代GPUでどこまで速度差が広がるかを確かめたいところです。
誰に関係するか
自分のパソコンで「OpenAI Codex」を使っている人は、追加コストなしで最大2倍の速さで作業を進められるようになります。
