SWE-bench Pro (難化版コードベンチ)
読み: えすだぶりゅーいーべんちぷろ
最終更新: 2026-07-27・AI PICKS編集部
定義
SWE-bench Proとは、旧来のSWE-bench Verifiedがスコア飽和・汚染で実力差を測れなくなった反省から作られた、より難しい実務規模のコーディング能力評価ベンチマークのこと。
SWE-bench Pro (難化版コードベンチ)とは — 詳しく解説
SWE-bench Proは、Scale AIが2026年に公開したコーディングAI向けの難化版ベンチマークで、41の実プロジェクトから集めた1,865件のIssue修正タスクで構成される。旧来のSWE-bench Verified（500件）は主要モデルが軒並み70%超に達し「飽和」「学習データ汚染」が指摘されたため、Proは非公開の商用リポジトリを一部含めて汚染耐性を高め、複数ファイルにまたがる大規模な修正を要求する設計になっている。その結果、Verifiedで70%超だった上位モデルもProでは20%台まで落ち込むとされ、指標としての難易度差が現場でも話題になった。実運用でのコスト面の落とし穴は、タスクが長文脈・マルチファイル前提のためエージェント型評価の実行コストがVerifiedより跳ね上がる点。現場でモデルを選ぶ際は、Proのスコア単体で判断せず、自社コードベースに近い言語・規模のタスクでの相対比較として使うのが2026年時点の定石とされる。
SWE-bench Pro (難化版コードベンチ)の使用例
- ベンダーがVerifiedのスコアだけ出してProの数値を出さない場合は、飽和した指標を選んで訴求している可能性を疑う。
- モデル選定時は「SWE-bench Proでのスコア」を参考値としつつ、必ず自社リポジトリでの実タスクでも比較検証する。
SWE-bench Pro (難化版コードベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1063語以上を体系的に整理しています
辞典トップへ