Vending-Bench (長期運用ベンチ)
読み: べんでぃんぐべんち
最終更新: 2026-07-17・AI PICKS編集部
定義
Vending-Bench とは AI エージェントに自動販売機の運営を模擬させ、 長時間の一貫した意思決定力を測るベンチマークのこと。
Vending-Bench (長期運用ベンチ)とは — 詳しく解説
Vending-Bench とは、 米 Andon Labs が発表した AI エージェント評価手法で、 在庫管理・発注・値付け・手数料支払いといった それ自体は単純なタスクを 長時間 (1 回の実行で数百万トークン規模) 継続させ、 一貫した意思決定を維持できるかを測るベンチマークとされる。 一般的な精度ベンチマークが 「1 問 1 答の正確さ」 を見るのに対し、 Vending-Bench は 「長く運用し続けても破綻しないか」 という 業務運用に近い観点を評価軸に据えている点が特徴とされる。 実運用での落とし穴は、 序盤は黒字運営できていたエージェントでも 途中から発注ミスや文脈の取り違えをきっかけに 支離滅裂な出力ループへ陥り、 そのまま自力回復できなくなるケースが一定数報告されている点。 現場でエージェント型 AI の導入を検討する際は、 単発タスクの精度スコアだけでなく、 こうした長期運用ベンチの結果や 定期的な状態リセット・人間による監視コストも含めて 相場感を持って選定するのが 2026 年時点の実務上のポイントとされる。
Vending-Bench (長期運用ベンチ)の使用例
- 「このエージェントの Vending-Bench 相当の長時間運用実績はありますか」と導入前にベンダーへ確認する。
- 長時間タスクを任せる際は 途中経過を定期チェックポイントで人間がレビューする運用にする。
Vending-Bench (長期運用ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・663語以上を体系的に整理しています
辞典トップへ