Amazon Bedrock、Codexの推論先に　LiteLLM経由の5ステップ構成

AWS Machine Learning Blogは、OpenAI CodexをLiteLLM経由でAmazon Bedrockに接続する構成を示しました。顧客が運用するLiteLLMゲートウェイをAmazon ECSにデプロイし、Amazon Bedrock上のOpenAIモデルへ接続します。

この構成では、LiteLLMがモデル認証、ルーティング、予算、レート制限、ゲートウェイのテレメトリの共有制御点になります。Codexは開発者のワークステーション上でローカルのタスク処理とツール実行ループを担います。

リクエストの流れは5ステップです。Codexが/v1/responsesエンドポイントに文脈とツール定義を送り、Application Load BalancerとAWS WAFを通過します。LiteLLMは呼び出し元を認証し、ECSタスクロールでAmazon Bedrock上の承認済みモデルを呼び出します。

参照デプロイでは、LiteLLMの状態、利用量、予算データにAmazon RDS for PostgreSQLを使います。AWS Secrets Manager、AWS KMS、Amazon CloudWatch、Amazon ECR、任意のAWS WAF保護も使います。検証はus-east-1で、ゲートウェイ別名openai.gpt-5.5を使っています。