MATH (数学ベンチマーク)
読み: ます
最終更新: 2026-07-19・AI PICKS編集部
定義
MATHとは、高校数学コンテスト水準の問題12,500問(難易度1〜5段階)で構成され、LLMの数式推論能力を測るために広く使われるベンチマークデータセットのこと。
MATH (数学ベンチマーク)とは — 詳しく解説
MATHは、代数・幾何・確率・数論など高校数学コンピティション水準の問題12,500問(難易度1〜5段階)からなるデータセットで、LLMの多段階にわたる数式推論力を測る指標として広く採用されているとされる。小学校レベルの文章題が中心のGSM8Kに対し、MATHはより複雑な証明的思考を要する問題を含むため、モデルの推論力の天井を測る指標として使われることが多いとされる。2026年時点の実運用では、多くの最新モデルがMATHで90%超のスコアに到達しており、ベンチマーク自体の識別力が薄れてきているとの指摘もある。そのため現場では、MATHのスコア単体でモデルの実力を判断せず、より難易度の高い後継ベンチマーク(AIME系や大学レベル数学の問題セットなど)と組み合わせて評価するケースが増えているとされる。自社で評価パイプラインを構築する場合、問題セットのライセンスや学習データへの汚染(コンタミネーション)の確認に工数がかかる点も、選定時のコストとして考慮すべきとされる。
MATH (数学ベンチマーク)の使用例
- 新モデルのリリース時、MATHのスコアが前バージョンから伸びているかを推論力向上の目安として確認する。
- 「MATHで95%超だが実務の複雑な計算タスクでは精度が落ちる」といったギャップの有無を評価時にチェックする。
MATH (数学ベンチマーク)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・713語以上を体系的に整理しています
辞典トップへ