OpenAI Codexの発表内容
OpenAIは、OpenAI CodexのAPIで12時間のプロンプトキャッシュ (指示内容を一時保存する仕組み) を選べるようにしました。開発者はAPI経由で指示を送る際に、キャッシュの保持期間として12時間を指定できます。
これにより、共通して使う指示文やツール定義、前後の文脈データを長く保持できます。リクエストの間隔が数時間空いた場合でも、キャッシュされた入力データに対する低い料金が適用されます。繰り返し同じ指示文を送信するコストを抑えられます。
dotsのような、日中を通して同じ文脈を再利用する常駐型のエージェントで効果を発揮します。数時間おきに動く自動処理でも文脈が途切れず、低い入力単価のまま処理を続けられます。
つまり、どういうこと？
ひらたく言うと、AIへの事前説明を半日ほど覚えておいてもらえる機能です。たとえるなら、朝に一度仕事の背景やルールを伝えておけば、夕方に次の作業を頼むときでも最初から説明し直さずに済むような仕組みです。数時間作業が空いても割引料金でそのまま頼めます。
編集部の見方
常駐型エージェントを動かす上で、12時間という保持時間はかなり実用的な長さだと筆者は感じました。一般的な業務時間を丸ごとカバーできるため、日中の作業なら文脈の再読み込みによるコストを気にせず動かし続けられます。
朝から夕方まで持てば十分。
ただ、数時間おきに実行する定期バッチや問い合わせ対応のボットを組んでいる人なら、無駄な入力コストを大きく削れるはずです。今後は競合のAPIでも半日単位のキャッシュ保持が標準になっていくかもしれません。まずは次回のアップデートで他のモデルや機能へどう適用範囲が広がるかを見届けたいところです。
誰に関係するか
APIで常駐型エージェントを動かしている人は、数時間空いた処理でも低単価のキャッシュ料金で文脈を引き継げるようになります。
