τ²-bench (エージェント評価ベンチ)
読み: たうつーべんち
最終更新: 2026-07-22・AI PICKS編集部
定義
τ²-bench（タウツーベンチ）とは、AIエージェントが複数ターンの対話とツール呼び出しを組み合わせたタスクをどれだけ正確にこなせるかを測定する評価ベンチマークのこと。
τ²-bench (エージェント評価ベンチ)とは — 詳しく解説
τ²-benchは、顧客対応やバックオフィス業務のようにユーザーとの対話とツール呼び出しが交互に発生するタスクにおいて、AIエージェントの成功率や手順の妥当性を測定するために設計された評価ベンチマークとされる。単発のQA形式のベンチマークと異なり、複数ターンにわたる状態管理や、誤ったツール呼び出しからの復帰力までが採点対象に含まれる点が特徴とされる。2026年時点の実運用では、公開スコアが高いモデルでも自社独自のツール定義やAPIエラーの形式が想定と異なると現場での成功率が大きく落ちるという落とし穴が広く指摘されている。またモデルやエージェント構成を切り替えるたびに評価セットを回すコストは、API課金だけでなく人手でのログレビュー工数まで含めると軽視できず、相場感として小規模な検証でも数万円規模の工数がかかるとされる。現場でモデルを選ぶ際は、公開ベンチのスコアだけでなく自社のタスク分布に近いシナリオでの再評価が推奨される。
τ²-bench (エージェント評価ベンチ)の使用例
- カスタマーサポートAIエージェントの新モデル導入前に、τ²-benchで返金処理タスクの成功率を比較検証する。
- 社内ヘルプデスクエージェントの評価で、τ²-bench形式の複数ターンシナリオを自社ツール定義に合わせて再現する。
τ²-bench (エージェント評価ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・863語以上を体系的に整理しています
辞典トップへ