ViBench 2.0とは、AIエージェントが空の作業領域から指示通りに製品全体を自律構築できるかを評価する長期開発ベンチマークです。既存コードの小規模な修正にとどまらず、ゼロからのフルスタック開発をAIに任せたときの真の実力を測る指標として登場しました。AIにアプリ開発を任せたいけれど、途中で破綻しないか不安を抱えていませんか。
最先端の基盤モデルを使っても、完成まで辿り着く確率はまだ完璧とは言えません。Replitが2026年10月28日に公開した測定データをもとに、評価フレームワークの仕組みや主要モデルのスコア、現場で導入する際の設計ポイントを具体的に解説します。
ViBench 2.0とはどんなベンチマークなのか？
ViBench 2.0は、AIエージェントがゼロから製品を組み上げる長期開発タスクの遂行力を測定する公開ベンチマークです。
[空のディレクトリ]
│
▼
1. 基盤セットアップ（DB・認証・ルーティング）
│
▼
2. 機能Aの実装 ──▶ テスト実行・自動検証
│
▼
3. 機能Bの実装（次の仕様は事前通知なし）
│
▼
4. 機能Cの追加と全体整合性の維持
│
▼
[完成したWebプロダクト（全テスト自動判定）]
従来のコーディング評価は、用意された関数を穴埋めする形式や、既存リポジトリの特定バグを1箇所修正する形式が主流でした。ViBench 2.0はこの前提を覆します。エージェントは何もない空のプロジェクトから開発を始めます。
評価対象となるのは、UberやGitHub、Google Docsのような実在サービスを模したWebアプリケーションです。エージェントは1つの機能を追加し終えるまで、次にどんな機能追加が要求されるかを知らされません。人間のソフトウェアエンジニアが直面する、仕様追加とリファクタリングの連続に耐えられるかを直接テストします。
オープンウェイトモデルの推論基盤を手がけるFireworksと提携し、実践的な知能測定基盤であるSpecialized Intelligence Index（SII）の一環として提供が始まりました。研究室のパズル解きではなく、実際の開発業務に耐えうるかを浮き彫りにする評価軸です。
編集部のおすすめ
AIで
声で文章を入れる、写真を整える、資料を作る。よく使われる作業ごとに1本ずつ選んでいます。
従来のコード生成評価と何が違うのか？
ViBench 2.0の最大の特徴は、先行機能のコードを壊さずに機能拡張を積み上げられるかを厳格に審査する点にあります。
コード生成AIの実力を測る基準はこれまでにも複数存在しました。過去のテストとViBench 2.0の違いを表に整理します。
| ベンチマーク名 | 主な | 初期状態 | タスクの |
|---|---|---|---|
| ViBench 2.0 | 製品全体の自律構築・長期機能拡張 | 空のプロジェクト | 連鎖的な機能追加と全体テスト |
| DeepSWE | 実リポジトリのIssue解決 | 既存コードベース | 単一バグの修正 |
| LiveCodeBench | アルゴリズム実装・競技プログラミング | 関数テンプレート | 単一関数の記述 |
この比較から分かる通り、ViBench 2.0は短期的なコード出力速度ではなく、コード全体の構造を破綻させない持続力を測る設計です。
単一の関数を書くだけなら、近年のAIは人間と同等以上の精度を出します。アルゴリズムの正しさを競う評価手法については、LiveCodeBenchの解説記事でも詳細な測定構造を扱っています。一方、アプリ開発の実務では「ログイン機能を作った後に決済機能を足したら、認証が壊れた」といったトラブルが日常茶飯事です。
ViBench 2.0では、後から追加される要求が手前の設計と衝突します。場当たり的なコードを書くAIは、ステップが進むにつれて自滅する仕組み。アーキテクチャ設計の破綻を逃さずあぶり出します。
17製品・241機能の測定フレームワーク
ViBench 2.0は合計17種類のWeb製品、241件の機能要求、544件の自動テストプランで構成されています。
【ViBench 2.0 評価構成】
├── 対象製品: 17プロダクト（GitHub、Uber、Google Docs等の模倣）
├── 機能要求: 241件（段階的に1件ずつ投入）
└── テスト計画: 544件（ブラウザ操作・API・DB状態を完全自動検証）
│
└── GitHub無償公開枠: 8製品分
1つの製品につき、平均して14件以上の機能追加要求が段階的に渡されます。エージェントは要求を受け取るたびに、必要なライブラリの選定、データベーススキーマの設計、APIエンドポイントの作成、UIの実装を自律して進めなければなりません。
各機能が完成するごとに、独立したテストスイートが実行されます。テストは単なるユニットテストにとどまりません。ブラウザ自動操作やAPIレスポンスの検証、DBの整合性確認を含む総合的な受け入れテストです。
全体の整合性を保ったまま、544件すべてのテストを通過できた割合が最終スコアになります。1つの機能で手を抜くと、以降のテストが連鎖的に失敗する過酷な試験です。
毎週月曜の朝に、今週のAIの主なニュース・新しく載ったツール・よく読まれた記事をまとめて届けます。登録特典は「AIツール選定チェックリスト 2026」。
確認メールのボタンを押すと登録が完了します。配信はいつでも解除できます。
主要フロンティアモデルの測定結果一覧
2026年10月時点の主要フロンティアモデルを同一条件で測定した結果、最高スコアでも65%にとどまりました。
Replitが公表した公式データに基づき、モデルごとの成功率と構築リソースを比較します。
| モデル名 | 全テスト通過率 | 1製品あたりの | 平均所要時間 | 特徴 |
|---|---|---|---|---|
| GPT-6.1 Sol | 65% | 約12ドル | 中速 | 費用対効果と精度のバランスが最良 |
| GPT-6 Astra | 60% | 約90ドル | 低速 | 深い推論を行うがコストが跳ね上がる |
| Opus 5.5 | 49% | 非公開 | 約70分（最速） | GPT-6.1 Solの約2.5倍の高速処理 |
上位3モデルの比較から、開発現場における「精度」「費用」「待ち時間」のトレードオフが鮮明になりました。
最高得点を叩き出したのはOpenAIの「GPT-6.1 Sol」です。1.05Mトークンのコンテキスト窓を備え、安定したコード追記能力を発揮しました。次世代の推論特化モデルである「GPT-6 Astra」は、慎重な計画を立てるものの60%に甘んじ、構築コストはGPT-6.1 Solの7倍以上に膨らんでいます。
Anthropicの主力である「Opus 5.5」は、通過率こそ49%と一歩譲るものの、平均約70分で全行程を駆け抜けました。他モデルを寄せ付けない圧倒的な実行速度です。
最新のAIコーディングツール全般の動向は、AIコーディングツール比較でも各ツールの強みを整理しています。
GPT-6.1 Solが通過率65%で首位に立った要因
GPT-6.1 Solが首位を獲得した最大の理由は、過去のファイル修正履歴を破棄せず、差分を正確に適用するファイル編集の正確さにあります。
長期にわたる開発タスクでは、AIが扱うトークン（AIが扱う文字のかたまり）の量が急激に増大します。ファイル数が増えるにつれて、以前作成した関数の名前や引数を忘れ、存在しないモジュールを呼び出すミスが起きやすくなります。いわゆるハルシネーション（AIがそれっぽい嘘をつくこと）の発生です。
GPT-6.1 Solは、128Kの最大出力容量と拡張された作業記憶を活かし、プロジェクト全体の構成を崩さずに小さなパッチを当て続けました。1製品あたり約12ドルというコストパフォーマンスも秀逸。無駄な再生成ループに陥らないため、API呼び出し回数が最小限に抑えられています。実務で長期エージェントを回すなら、現時点で最も堅実な選択肢です。
GPT-6 AstraとOpus 5.5のコストと実行速度の違い
最上位のGPT-6 Astraと速度特化のOpus 5.5では、開発プロセスにおける振る舞いが正反対に分かれました。
【開発アプローチの対比】
■ GPT-6 Astra（推論重視型）
熟考と内部思考 ──▶ 大量のトークン消費 ──▶ 1回約90ドル・低速
※途中の辻褄合わせで長考し、コストが急増
■ Opus 5.5（スピード直進型）
素早いコード出力 ──▶ 最短経路で実装 ──▶ 平均約70分（2.5倍速）
※手戻り修正のリカバリでテストを落とし49%
GPT-6 Astraは1製品の構築に約90ドルを消費します。コードを書き出す前に広範な設計シミュレーションを繰り返すため、消費トークン数が跳ね上がるのが理由です。しかし、どれほど深く思考しても、未知の追加仕様が降ってきた際の手戻りを防ぎきれず、スコアは60%に留まりました。
対照的にOpus 5.5は平均70分で製品を構築し、GPT-6.1 Solと比べて約2.5倍の速さでタスクを完了させました。高速なプロトタイプ作成にはOpus 5.5が重宝します。短時間で動く骨組みを作り、後半のテスト不合格箇所だけを人間が手直しする運用に適した挙動です。
最上位AIでも35%失敗する開発上の壁は何か？
最先端モデルが直面する失敗の35%は、データベースのスキーマ変更とフロントエンドの非同期通信の食い違いに起因しています。
ゼロからの開発において、初期の機能要求で作ったテーブル定義は、後続の機能追加で変更を迫られます。人間であればマイグレーションスクリプトを書いて既存データを維持しますが、AIエージェントは往々にしてテーブルを丸ごと作り直そうとします。その結果、手前のステップで作成したテストデータが消滅し、古いテストが一斉に赤く染まります。
UIとバックエンド間のAPI仕様の不一致も目立ちました。バックエンドの戻り値フォーマットを変更した際、フロントエンド側の呼び出し処理を直し忘れるミスが多発しています。プロジェクトの全体像を俯瞰する能力は向上しているものの、複数コンポーネントを跨ぐ依存関係の追跡には依然として限界が存在します。
長期タスクを自律遂行させる実験としては、自販機運営を1年間任せたシミュレーションをまとめたVending Benchの解説記事でも、同様の環境変化への適応難が報告されています。
ここまでの整理: ViBench 2.0は空のディレクトリから製品を組み上げる長期開発能力を暴くベンチマークです。最上位のGPT-6.1 Solでさえ通過率は65%にとどまり、コストと速度のバランスには大きな開きがあります。自律エージェントに丸投げするのではなく、破綻しやすいポイントを抑えた運用設計が必要です。
実務アプリ開発にAIエージェントを投入する際の設計指針
ViBench 2.0の測定結果を踏まえると、実務アプリ開発にAIエージェントを組み込む際は「仕様の小分け」と「自動ゲートの設置」が絶対条件になります。
【失敗を防ぐ3層ガードレール】
1. 要求の段階分割（1プロンプト＝1機能）
│
2. マイグレーション保護（DB変更時の手動確認）
│
3. 回帰テスト自動実行（過去機能の破壊を即時検知）
AIに「ECサイトを丸ごと作って」と指示を出すやり方は、失敗率を跳ね上げる悪手です。ViBench 2.0の失敗パターンが示す通り、人間側が要求を小さな単位に切り分け、1機能ごとに動作確認を挟むアプローチが一択となります。
具体的には、以下の3つのガードレールを設けます。
- データベースのマイグレーションが発生する際は、AIに変更理由と影響範囲を出力させ、承認ボタンを押すまで適用させない。
- 新機能を追加するたびに、過去のテストスイートを自動実行し、リグレッション（機能の後退）を検知した時点で作業を巻き戻す。
- フロントエンドとバックエンドの型定義ファイルを共有し、ビルドエラーを検知させて自己修正ループを回す。
AIエージェントの自律化技術全般の仕組みについては、AIエージェントカテゴリで最新ツール群の特性を網羅しています。
GitHubで無償公開された8製品キットの活用手順
Replitは開発者コミュニティ向けに、ViBench 2.0の全17製品のうち8製品分の評価キットをGitHub上で無償公開しました。
企業が社内独自のAIエージェント基盤を構築する際、この8製品キットは最高水準の回帰テストスイートとして機能します。自社でプロンプトやオーケストレーションツールを改良した際、開発能力が向上したのか劣化を招いたのかを客観的なスコアで測定できます。
利用手順は以下の3ステップです。
- GitHubからリポジトリをクローンし、テストランナーの環境をセットアップする。
- 評価したいモデルのAPIキーを設定し、対象製品の仕様プロンプト（AIへの指示文）を順次エージェントに投入する。
- 自動テストスイートを実行し、各ステップでの通過率と所要時間、消費トークン数を集計する。
ベンチマークの汚染を防ぎ客観的な評価を維持する手法については、LiveBenchの解説記事でも詳細な測定プロトコルを比較できます。
Replit Agentの無料枠と商用プランの選び方
ViBench 2.0の母体となったReplitの環境で実際にエージェント開発を行う場合、プランごとの機能差を正しく把握しておく必要があります。
Replit公式の料金設定に基づき、エージェント機能の利用条件を整理します。
| プラン名 | 月額料金 | エージェント機能 | 推奨用途 |
|---|---|---|---|
| Starter | 無料 | Lite build（毎日クレジット付与） | 小規模な機能試作・学習用 |
| Core | 20ドル/月（年払い18ドル/月） | Full build（本格開発対応） | 個人開発・商用プロトタイプ構築 |
| Teams | 要問合せ | チーム共有・権限管理・Full build | 企業チームでの共同開発 |
Replitの環境では、無料のStarterプランでも毎日Agent用のクレジットが付与され、Lite buildの枠内で軽量な試作が可能です。
ただし、ViBench 2.0が対象とするような複数ファイルにまたがる本格的なフルスタック構築を行うには、Coreプラン以上で解放されるFull buildが必要になります。月額20ドルのCoreプランは、個人開発者が本格的なアプリを立ち上げる投資として破格の設定です。
UIモックアップやデザイン起点の高速開発を求める場合は、v0 by Vercelの料金と活用ガイドやv0の代替ツール一覧も有力な比較対象に入ります。
AI PICKS編集部の判定
ViBench 2.0が突きつけた「成功率65%」という現実は、AIアプリ開発の現在地をこれ以上ないほど正確に表しています。ネット上では「AIだけでサービスが完成した」という派手な宣伝が目立ちますが、無人運転での完全自律構築はまだ遠い夢。現時点での丸投げ運用は正直イマイチです。
一方で、1製品あたりわずか12ドルの費用で骨組みの65%が組み上がるGPT-6.1 Solの費用対効果は圧倒的です。人間が要件定義とテストゲートの設計を受け持ち、実装の手足としてAIエージェントを走らせる体制を作れるチームにとって、この基盤は手放せない武器になります。
速度重視ならOpus 5.5、コストと精度の安定感を求めるならGPT-6.1 Solが一択。ツールに過度な幻想を抱かず、失敗する35%の隙間を埋める開発フローを構築できるかどうかが、実務導入の成否を分ける境界線です。
あわせて見たいツール・カテゴリ
AIによる開発自動化やベンチマークの比較検討を進める際は、以下のカテゴリと関連ガイドも参考にしてください。
- AIコーディングツール一覧 - コード生成や補完に特化した主要サービスを網羅
- AIエージェントツール一覧 - 自律的にタスクを遂行する最新エージェントの動向
- AI自動化ツール一覧 - 定型業務やシステム連携を効率化する仕組み
- AI生産性向上ツール一覧 - 開発業務の作業効率を高めるツール群
- AIコーディングツール人気ランキング - 現場の開発者に選ばれているツールの比較
- AIエージェント人気ランキング - 実用性の高い自律型ツールの最新評価
よくある質問（FAQ）
Q. ViBench 2.0のテストデータは誰でも利用できますか？
GitHub上で8製品分の課題とテストスイートが無償公開されており、誰でもダウンロードして自作エージェントの評価に利用できます。残りの9製品分はベンチマークの汚染を防ぐためのホールドアウトセットとして管理されています。
Q. なぜGPT-6 Astraはスコアが伸び悩んだのですか？
GPT-6 Astraは深い推論を行うため計画段階の精度は高いものの、未知の機能追加が連続する場面で手戻りが発生し、消費コストに見合うテスト通過率を維持できなかったためです。1製品あたり約90ドルと高額な点も運用の障壁になります。
Q. Replit Agentは日本語の指示文でも動きますか？
日本語でのプロンプト入力に対応しています。ただし、内部で生成されるコードの変数名やコミットメッセージ、ドキュメントの記述は英語が標準となるため、英語での指示出しを併用した方が精度のブレを抑えられます。
Q. Opus 5.5の強みは実務でどのように活かせますか？
平均約70分という群を抜いた処理速度が強みです。荒削りでも素早く動くプロトタイプを作成させ、人間がコードレビューを行いながら手動で微修正を施す開発スタイルにおいて威力を発揮します。
Q. 小規模な受託開発にAIエージェントを導入するのは時期尚早ですか？
丸投げでの納品は危険ですが、仕様の切り分けと自動テストを前提とした補助開発であれば十分に実用的です。テストコードを先に用意し、AIに実装させたコードがテストを通るか確認するテスト駆動開発（TDD）の体制を敷くことで、開発期間を大幅に短縮できます。
Q. 次に読むべきおすすめの記事はどれですか？
AIによるコード生成精度の基礎データと、モデルの汚染対策について詳しく知りたい場合は、LiveCodeBenchの見方と最新スコア解説を読むと、各モデルの基礎体力をより正確に比較できます。
参考にした一次情報
記事の事実関係は、次の公式ページで確認しています。仕様や料金は変わることがあるため、最新の内容は各ページで確かめてください。
- Replit料金プランページ（公式）：Coreは月額20ドル、年払いなら月18ドル（2026年10月確認）
- Replitブログ「ViBench 2.0」発表記事（公式）：ViBench 2.0は17製品・241件の機能要求・544件のテストプランで構成（2026年10月確認）
