定義
ARC-AGI-2とは、初見の図形パズルでAIの抽象的推論力を測るベンチマークARC-AGIの改良版で、記憶や物量では解けない汎用知能寄りの評価指標のこと。
ARC-AGI-2 (汎用推論ベンチ第2版)とは（詳しく解説）
ARC-AGI-2は、ARC Prize財団が2025年に公開したARC-AGIの第2版で、少数の図形パターンから規則を推論し新規問題に適用する能力を測るベンチマークとされる。人間はほぼ全問正解できる一方、大規模言語モデルは学習データの記憶や力技の試行回数では解けない設計になっており、汎用推論(AGI)に近い能力の指標として業界で参照される。2026年時点の実運用では、スコアの高さがそのままエージェント実務の性能に直結するとは限らない点が落とし穴とされ、現場ではARC-AGI-2単体でなくコーディングや長期タスク系ベンチマークと組み合わせて評価するのが一般的とされる。また上位モデルほど推論トークン消費が増えコスト面の相場感も無視できないため、選定時は精度とコストのバランスを見る必要があるとされる。
ARC-AGI-2 (汎用推論ベンチ第2版)の使用例
- 「このモデルのARC-AGI-2正答率は?」と他ベンチマークと合わせて総合的な推論力を確認する。
- エージェント選定でARC-AGI-2スコアとコーディング系ベンチマークを並べて比較検討する。
