「Amazon Bedrock」の評価機能、AIエージェントの回答を自動採点 基準を下回るとマージを停止
- 「Amazon Bedrock AgentCore」の評価機能が、AIエージェントの回答を自動で採点します。
- 採点が基準を下回ると、GitHub上のコード変更はマージできなくなります。
- 対象はAgentCore上でAIエージェントを動かす開発チームです。
AWSが、「Amazon Bedrock」のAIエージェント向け評価機能をGitHubの開発フローに組み込む手順を公開しました。エージェントの回答を自動で採点し、質が落ちた変更を本番に出す前に止める仕組みです。
採点を担うのは「AgentCore Evaluations」です。大規模言語モデルを審判役に使い、エージェントの受け答えに点を付けます。材料になるのは、CloudWatchに集まる動作の記録です。回答が役に立つか、内容が正しいか、適切なツールを選べたかを見ます。
任意のタイミングで特定のやり取りを採点する方法、本番の通信を継続的に監視する方法、複数のやり取りをまとめて採点する方法です。標準の評価項目にはHelpfulness（役立ち度）やCorrectness（正確さ）、ToolSelectionAccuracy（ツール選択の正確さ）が並びます。独自の採点基準を足すこともできます。
合格ラインの例は、1.0点満点で0.8点です。GitHub Actionsがエージェントを検証用の環境に配置し、決められた質問を投げて回答を採点します。点数が基準に届かなければ、そのコード変更はマージできません。認証にはOIDC（短期間だけ有効な鍵を発行する仕組み）を使い、長く使える鍵をGitHubに置かずに済ませます。
つまり、AIエージェントに毎回同じ試験を受けさせて、点数が下がったものは現場に出さない仕組みです。新人に例えるなら、研修の中身を変えるたびに同じ模擬接客をやってもらい、前より評価が落ちていたら配属を見送るような形です。採点役も別のAIが務めるので、担当者が毎回自分で質問して確かめる必要はありません。
AIエージェントの品質は、これまで担当者の主観で語られがちでした。それを点数にして、マージの可否まで縛るのは思い切った設計です。
筆者が引っかかったのは、採点役に大規模言語モデルを使う点です。審判もAIなので、判定が毎回まったく同じになるとは限りません。合格ラインを0.8に置く例も、自社のエージェントで何度か回してから決め直すことになりそうです。ちょっと手間はかかります。
品質管理は感覚から数字へ。同じ発想の仕組みは、ほかのクラウドからも出てきそうです。社内でAIエージェントを作り始めた企業なら、まずは用意された評価項目で現状の点数を測るだけでも十分だと思います。
次に見たいのは、この採点機能が日本語のやり取りをどこまで正しく評価できるかです。
社内でAIエージェントを開発している人は、担当者が毎回手で試さなくても、変更のたびに回答の質が落ちていないかを確かめられるようになります。
