Braintrustは、AIエージェントの観測と評価を一つにまとめた、AI開発チーム向けのプラットフォームです。本番環境で起きたことを記録し、そこから評価用のデータを作り、リリースのたびに品質を確かめる流れを支えます。

主な機能

Observabilityでは、エージェントのトレースとツール呼び出しを一件ずつ確認し、大量のログを検索して、遅延、コスト、品質をリアルタイムに追えます。Evalsでは、実データを使った実験を回し、プロンプトやモデルを並べて比べ、出力をLLM、コード、人のいずれかで採点します。Discoveryはトレースを分析して重要な挙動を見つけ、改善を試して結果を測ります。補助として、プロンプトや採点基準、データセットを自動で作るLoop agent、本番のトレースをワンクリックで評価データにする機能、IDEからログの検索や評価の実行ができるMCPサーバーがあります。SDKはPython、TypeScript、Go、Ruby、C#などに対応し、特定のフレームワークに縛られません。

料金

Starterは月$0で、ユーザー数は無制限、処理データは月1GB、データ保持は14日間です。Proは月$249で、処理データ5GBと保持30日間が含まれ、超過分は従量課金です。Enterpriseは個別見積もりで、オンプレミスやホスト型の配置に対応します。

注意点

SOC 2 Type IIの認証を持ち、GDPRとHIPAAに準拠しています。エンジニアがSDKを組み込むことが前提の開発者向けツールで、日本語での利用は公式サイトで確認できません。