HoneyHiveは、本番環境で動くAIエージェントを観測し、評価し、改善するためのエージェント観測・評価プラットフォームです。「観測する、評価する、改善する」という流れで、本番の挙動と各分野の専門知識をエージェントの改善に生かすことを目指しています。

主な機能

トレース機能では、プロンプト、ツール呼び出し、出力、サブエージェント間の引き継ぎを、起きた順にステップごとに再生できます。数時間から数日かかる長時間のエージェントでも、リトライやループを含めてどこから挙動がおかしくなったかをたどれます。

オンライン評価では、本番のトラフィックをサンプリングして採点し、スコアを実際のユーザーの結果と結び付けます。品質、コスト、レイテンシ、利用状況を監視し、スコアがしきい値を割ったときやドリフトを検知したときにメールやWebhookで通知します。評価にはLLMによる判定、独自のコード、それらを組み合わせた評価器を使えます。

改善の面では、本番の失敗事例を自動で回帰テスト用のデータセットに変え、エージェントの新旧バージョンを同じデータで比べる実験ができます。気になるトレースを専門家のレビュー用キューに回す機能や、プロンプトのバージョン管理とデプロイ機能もあります。OpenTelemetryに対応し、CI/CDとも連携します。

料金

Developerプランは無料で、月10,000イベント、ユーザー5人まで、データ保存は30日です。Enterpriseは個別見積もりで、利用量の上限やデータ保存期間を調整でき、SAML/SSO、SLA、セルフホストやシングルテナントでの導入に対応します。