ARC-AGI-2 (汎用推論ベンチ第2版)
読み: あーくえーじーあいつー
最終更新: 2026-07-21・AI PICKS編集部
定義
ARC-AGI-2とは、初見の図形パズルでAIの抽象的推論力を測るベンチマークARC-AGIの改良版で、記憶や物量では解けない汎用知能寄りの評価指標のこと。
ARC-AGI-2 (汎用推論ベンチ第2版)とは — 詳しく解説
ARC-AGI-2は、ARC Prize財団が2025年に公開したARC-AGIの第2版で、少数の図形パターンから規則を推論し新規問題に適用する能力を測るベンチマークとされる。人間はほぼ全問正解できる一方、大規模言語モデルは学習データの記憶や力技の試行回数では解けない設計になっており、汎用推論(AGI)に近い能力の指標として業界で参照される。2026年時点の実運用では、スコアの高さがそのままエージェント実務の性能に直結するとは限らない点が落とし穴とされ、現場ではARC-AGI-2単体でなくコーディングや長期タスク系ベンチマークと組み合わせて評価するのが一般的とされる。また上位モデルほど推論トークン消費が増えコスト面の相場感も無視できないため、選定時は精度とコストのバランスを見る必要があるとされる。
ARC-AGI-2 (汎用推論ベンチ第2版)の使用例
- 「このモデルのARC-AGI-2正答率は?」と他ベンチマークと合わせて総合的な推論力を確認する。
- エージェント選定でARC-AGI-2スコアとコーディング系ベンチマークを並べて比較検討する。
ARC-AGI-2 (汎用推論ベンチ第2版)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・813語以上を体系的に整理しています
辞典トップへ