Traceloopは、LLMアプリケーションの監視と評価を継続的に回すためのLLM信頼性プラットフォームです。評価とモニタリングをつなげて、リリースのたびに品質を上げていくことを目指しています。

主な機能

コード1行を加えるだけで、プロンプト、応答、レイテンシなどの記録が始まります。忠実性（faithfulness）、関連性、安全性といった既成の指標を実データに自動で当てはめるため、テストを書かなくても品質の基準値をつかめます。既成の指標で足りない場合は、実例に注釈を付けて自社の基準で採点するカスタム評価器を作れます。評価はプルリクエストごとにも本番での実行時にも走らせられ、しきい値を割る変更を早めに止められます。プロンプト管理の機能もあります。

土台にあるのは、同社がApache-2.0ライセンスで公開しているOpenLLMetryです。OpenTelemetryの拡張として作られており、Python、TypeScript、Go、Rubyに対応します。OpenAI、Anthropic、Gemini、Bedrock、Ollamaなどのモデル提供元、PineconeやChromaといったベクトルDB、LangChain、LlamaIndex、CrewAIを扱えます。OpenLLMetryのデータはDatadogやHoneycombなど既存の監視ツールにも送れます。

料金

Free Foreverプランは月$0で、月50Kスパンまで、データ保存は24時間です。監視と評価のダッシュボード、CI/CD連携、プロンプト管理が含まれます。それを超える場合はEnterpriseで、保存期間の個別設定、SOC 2対応、オンプレミス導入、Slackでのサポートが付きます。AWS、GCP、Azureのマーケットプレイスからも購入できます。

注意点

TraceloopはServiceNowへの合流を発表しており、技術はServiceNowのAI Control Towerに組み込まれる予定です。同社はTraceloopの機能の販売を続け、OpenLLMetryもオープンソースのまま維持するとしていますが、今後の製品計画が変わる可能性はあります。