Fabricの発表内容
米セールスフォースは管理基盤「Fabric」の機能を拡充しました。AIの回答精度が落ちた際に自動で止める仕組みや、利用予算の上限を設定する機能を提供します。
新機能の「Agent Evals」は、事前の自動テストや稼働中の品質監視を行います。品質が基準を下回ると、管理者の承認を経て自動で稼働を止める緊急停止機能が働きます。あわせて外部連携の変更による不具合を防ぐ機能も備えます。
費用の管理機能では、予算超過前に処理を止める上限設定が可能です。履歴の再利用などでトークン (AIが処理する文字の単位) の消費量をテスト環境で最大75%削減する方針も適用できます。
これらにより、AIを実務に導入した企業は、誤った回答によるトラブルや費用の急増を未然に防げるようになります。
つまり、どういうこと？
たとえるなら、社内を巡回して新人のミスや経費の使いすぎを止める指導係のような機能です。
AIが誤った案内を客に出しそうになったり、想定以上の利用料がかかりそうになったりした瞬間に、自動で一時停止して被害を防ぎます。
編集部の見方
AIを自社に導入する際、業務での誤回答と利用料の跳ね上がりは避けて通れない懸念です。賢さのアピールではなく、止める仕組みを前面に出した点に実用化への現実味を感じます。
安全対策が標準になる流れ。
すでに他社基盤を含めてAIを併用している企業なら、個別に対策を組む手間が省けるため、導入を前向きに検討できそうです。ただ、現場ごとの細かい停止基準をどこまで柔軟に調整できるかは、実際の運用で試す必要があります。次の機能更新で、より細かな権限設定が追加されるかを確認したいところです。
誰に関係するか
複数のAIエージェントを業務で動かしている人は、誤答や予期せぬ予算超過を自動で食い止められるようになります。
