SWE-bench Verified (検証済コードベンチ)
読み: えすだぶりゅーいーべんちべりふぁいど
最終更新: 2026-07-21・AI PICKS編集部
定義
SWE-bench Verifiedとは、実GitHubリポジトリのバグ修正課題をAIがどれだけ解決できるか、人手で精査した500件の厳選タスクで測るコーディング評価指標のこと。
SWE-bench Verified (検証済コードベンチ)とは — 詳しく解説
SWE-bench Verifiedは、OpenAIが2024年に元のSWE-benchデータセットを人手で精査し、解決不能な課題や仕様の曖昧なタスクを除いて選び直した500件で構成される、コーディングエージェント評価の業界標準ベンチマークとされる。実在のGitHubリポジトリのIssueに対してAIエージェントが修正パッチを生成し、対応するテストスイートを通過できるかで採点する方式が広く採用されている。2026年時点の実運用では、スコアの高さがそのまま現場での生産性向上に直結しない点が落とし穴とされる。ベンチマークはPythonリポジトリに偏っており、自社の独自言語やレガシーな大規模コードベースでは同じ精度が出にくいと指摘される。また高スコアを狙うほど試行回数やツール呼び出しが増え、API利用のコスト感が跳ね上がりやすい。現場でモデルやエージェントを選ぶ際は、スコア単体でなく自社リポジトリに近いタスクでの実行時間とコストを合わせて比較する運用が広がっている。
SWE-bench Verified (検証済コードベンチ)の使用例
- モデル選定時に「SWE-bench Verifiedで◯◯%台のモデルはどれか」を比較表に加えて検討する。
- 新しいコーディングエージェントのリリース時に、SWE-bench Verifiedのスコア推移を並べて性能改善を確認する。
SWE-bench Verified (検証済コードベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・813語以上を体系的に整理しています
辞典トップへ