TheAgentCompany (実務代行ベンチ)
読み: じ・えーじぇんと・かんぱにー
最終更新: 2026-07-31・AI PICKS編集部
定義
TheAgentCompanyとは、LLMエージェントに模擬ソフトウェア企業内で175件の実務タスクを遂行させ、完了率で実力を測るベンチマークのこと。
TheAgentCompany (実務代行ベンチ)とは — 詳しく解説
TheAgentCompanyは、2024年12月に発表された論文(arXiv:2412.14161)で提案されたベンチマークで、模擬的なソフトウェア企業環境の中でLLMエージェントに175件の長期的な実務タスク(コーディング、Web閲覧、シミュレートされた同僚とのSlack風チャットでのやり取りなど)を遂行させ、チェックポイントと実行結果の両面から完了率を測定する。論文では最上位モデルでも自律達成率が3割程度にとどまったと報告されており、実務代行を謳うエージェントの実力を測る指標として業界で参照されるようになった。ただし2026年時点の実運用では、模擬環境特有のタスク設計が自社の実際のワークフローと一致するとは限らない落とし穴があり、セルフホスト環境の構築・複数モデルへのAPI呼び出しといった評価コストも軽くない。現場でエージェント製品を選ぶ際は、このベンチマークのスコアを鵜呑みにせず、自社業務に近いタスクでの追加検証と組み合わせるのが定石とされる。
TheAgentCompany (実務代行ベンチ)の使用例
- エージェント製品の営業資料にある「タスク完了率」がTheAgentCompanyのスコアかどうかを出典で確認する。
- 資料に「TheAgentCompanyで自律達成率30%程度と報告」のように出典付きで引用する。
TheAgentCompany (実務代行ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1263語以上を体系的に整理しています
辞典トップへ