トレース・評価・修復ハーネスの3層構造

PandaProbeは、AIエージェントの実行失敗から修正ルールを生成・検証するオープンソース基盤である。処理はTracing、Evaluation、Repair Harnessの3層で構成される。Tracing層ではモデル呼び出しやツール利用、サブエージェントの動作を構造化ログとして記録する。Evaluation層では実行完了後の成果物と軌跡を検証し、エラーの有無にかかわらず不正確な動作やリスクを検出する。Harness層は検出した失敗原因をもとに修正ルール候補を生成し、タスクの再実行テストを通じて効果を確認したルールのみを採用する。

エージェント向け制御プレーンと永続ルール管理

人間向けの可視化機能に加え、エージェント自身がCLI経由でトレースの取得や評価実行を行える制御プレーンを備える。検証を通過したルールは共有ワークスペースに永続化され、同一環境に接続するエージェント群がセッションやタスクをまたいで再利用する。制限された実行環境でテストを行うため、未検証の修正が本番環境へ影響する事態を防ぐ。

対象ユーザーと提供形態

LangGraphやCrewAIなどの主要フレームワーク、各種LLMプロバイダーと連携して動作する。クラウドサービスのほか、Apache 2.0ライセンスに基づくセルフホスト（ローカル、VPC、オンプレミス）に対応する。エージェントの手動デバッグ工数を削減し、運用の自動化を図る開発チームに適している。