NDCG (正規化割引累積利得)

Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。

OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。

ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。

ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。

SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。

GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。