AgentBench (エージェント評価ベンチ)
読み: えーじぇんとべんち
最終更新: 2026-07-20・AI PICKS編集部
定義
AgentBenchとは、LLM(大規模言語モデル)をコーディングやゲーム、ウェブ操作など複数の環境でエージェントとして動作させ、タスク遂行能力を横断的に評価するベンチマークのこと。
AgentBench (エージェント評価ベンチ)とは — 詳しく解説
AgentBenchは清華大学(THUDM)が提案したLLMエージェント評価ベンチマークで、OS操作、データベース操作、知識グラフ、デジタルカードゲーム、ウェブ検索・ショッピングなど8つの多様な環境でタスク完遂能力を測定する枠組みとして知られる。単一のQA精度だけでなく、複数ステップの計画・ツール呼び出し・環境からのフィードバック反映といった「エージェントとしての振る舞い」を横断評価できる点が特徴とされる。2026年時点の実運用では、ベンチマークスコアが高いモデルでも、社内ツール連携や独自API環境など未知の環境では性能が大きく落ちる「環境汎化のギャップ」が現場でしばしば指摘される。また評価環境の構築・実行には計算コストがかかるため、自社プロダクトの選定時はAgentBenchのような公開ベンチマーク結果を参考値としつつ、実際のユースケースに近い自前の評価セットを別途用意するのが現場での定石とされる。
AgentBench (エージェント評価ベンチ)の使用例
- 「このLLMエージェント、AgentBenchのウェブ操作タスクでどのくらいのスコアが出るか教えて」という評価依頼の例。
- 自社エージェント開発時に「AgentBenchのDB操作カテゴリに近いタスクで社内評価セットを作る」という使い方。
AgentBench (エージェント評価ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・763語以上を体系的に整理しています
辞典トップへ