Terminal-Bench (端末操作ベンチ)
読み: たーみなるべんち
最終更新: 2026-07-09・AI PICKS編集部
定義
Terminal-Benchとは、AIエージェントがターミナル上で実務的なタスクをどれだけ自律的にこなせるかを測定する評価ベンチマークのこと。
Terminal-Bench (端末操作ベンチ)とは — 詳しく解説
Terminal-Benchは、AIエージェントがLinuxターミナル環境でファイル操作・ビルド・デバッグといった複数ステップの実務タスクを自律的に完遂できるかを測る評価ベンチマークとして、開発者コミュニティで広く参照されている。単純なコード生成精度とは異なり、環境認識・エラーリカバリー・ツール呼び出しの連携まで含めて採点される点が特徴とされる。2026年時点の実運用では、ベンチマークスコアが高いモデルでも、社内の非標準的なシェル環境やレガシーな権限設定が絡む現場では想定通りに動かないケースが多いと指摘されている。コスト面でも、タスク完遂までの試行回数が多いモデルほどトークン消費がかさみ、相場感としてはスコア上位モデルほど1タスクあたりの実行コストが高くなりやすい。導入現場では、スコアの絶対値だけでなくタスク完遂までの平均試行回数やタイムアウト率も併せて確認し、自社の運用環境に近い条件で選定することが推奨される。
Terminal-Bench (端末操作ベンチ)の使用例
- 「壊れたDockerビルドを自力で直してテストを通す」といった多段階タスクの完遂率を測る設定が典型例とされる。
- スコアだけでなく平均試行回数やタイムアウト率も合わせて比較するのが選定時のポイントとされる。
Terminal-Bench (端末操作ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・452語以上を体系的に整理しています
辞典トップへ