Replitが公開した、コーディングエージェントのソフトウェア開発能力を測定するオープンソースのベンチマークです。既存コードの修正を主眼とする従来の評価枠組みとは異なり、空のプロジェクトから自然言語の製品仕様をもとに17種類のWebアプリケーションをゼロから実装する能力を測定します。241件の機能リクエストと544件のテストプランを備え、全テスト合格率やステップ合格率に加え、実装にかかるAPI利用コストと所要時間を定量化します。自律型エージェントの開発者や、長期タスクにおけるモデルの実用性能を比較検証したい研究者に向いています。