AgentOpsは、AIエージェントの構築、評価、監視を試作から本番まで支える開発者向けの観測・開発ツールプラットフォームです。OpenAIのAgents SDK、CrewAI、AG2（AutoGen）、LangChain、LlamaIndexなど主要なエージェントフレームワークとネイティブに連携します。

主な機能

ダッシュボードでは、LLM呼び出し、ツールの実行、複数エージェント間のやり取りといったイベントを時系列で確認できます。「Time Travel Debugging」は、エージェントの実行をある時点まで巻き戻して再生する機能で、どのステップで挙動がおかしくなったかを追えます。エラーやログ、プロンプトインジェクション攻撃の記録も残るため、監査にも使えます。

コスト面では、エージェントが扱ったトークン数を記録し、400以上のLLMについて最新の価格をもとに支出を可視化します。保存した応答データを使って特化型LLMをファインチューニングする機能もあります。

導入と料金

pip install agentops でSDKを入れ、プログラムの最初に agentops.init() を書くだけでセッションの記録が始まります。アプリ本体はMITライセンスで公開されており、ダッシュボードとAPIバックエンドを自分の環境で動かすこともできます。

Basicプランは月$0で5,000イベントまで、Proは月$40からの従量課金でイベント数とログ保存期間が無制限になり、データのエクスポートや権限管理が付きます。Enterpriseでは、SLA、独自のSSO、オンプレミス導入、SOC-2やHIPAAへの対応が加わります。

注意点

READMEのクイックスタートはPythonが前提で、画面や資料は英語のみです。