Amazon Bedrockの発表内容
AWSは、「Amazon Bedrock」でOpenAIモデルを動かすAIエージェント（自律して作業を行うAIプログラム）向けのプロンプトキャッシュ手法を公開しました。会話履歴やツールの定義を毎回送り直す無駄を省き、入力にかかる費用と待ち時間を減らします。
AIエージェントは手順を進めるたびに、これまでの指示やツールの定義をすべて送り直す必要があります。プロンプトキャッシュ（指示文の一時保存機能）は、この共通する内容を保存して再計算を省きます。再利用を適用するには、共通部分が1024トークン（AIが文章を処理する単位）に達していることが条件です。
キャッシュの指定方法には、Bedrockが自動で範囲を選ぶ方式と、開発者が目印を付ける方式の2種類があります。両者を併用することで、会話履歴を自動で蓄積しながら、共通の指示を補助エージェント間で共有できます。
この仕組みを取り入れることで、手順の多いAIエージェントの応答待ち時間を短縮できます。呼び出しを重ねても入力トークンの課金を抑えられるため、コストを管理しやすくなります。
つまり、どういうこと？
たとえるなら、毎朝同じ自己紹介と業務マニュアルを最初から朗読させられていた部下に、専用のメモ帳を持たせるような仕組みです。
これまでは一言話しかけるたびに過去の会話をすべて読み直して費用が発生していましたが、固定の指示を保存しておくことで、新しい質問の分だけ処理を済ませられます。
編集部の見方
何十回もやり取りするエージェントで、毎回最初のルールから課金されるのはさすがに財布が痛みます。キャッシュの活用は必須。筆者は、指示の共通部分だけでなく、新しく立ち上げる補助エージェントへ同じ記憶を引き継ぐ設計まで踏み込んでいる点に感心しました。
ただ、恩恵を受けるには共通部分で1024トークン以上が必要になるため、短い指示で済む単発のやり取りには向きません。ツールを何種類も抱えて何往復も作業をこなす業務でこそ、圧倒的なコスト削減効果を発揮しそうです。
今後はほかのクラウド基盤でも同様の自動キャッシュ制御が標準になっていくはずです。年末に各社が投入するエージェント機能の価格設定で見比べたいところです。
誰に関係するか
「Amazon Bedrock」でAIエージェントを構築している人は、毎回のやり取りで発生する入力費用と待ち時間を削減できるようになります。
