GSM8K (算数推論ベンチ)
読み: じーえすえむえいとけー
最終更新: 2026-07-14・AI PICKS編集部
定義
GSM8Kとは、小学校高学年レベルの算数文章題を8,500問収録した、大規模言語モデルの多段階推論能力を測定するベンチマークのこと。
GSM8K (算数推論ベンチ)とは — 詳しく解説
GSM8Kは、OpenAIが2021年に公開した算数文章題データセットで、小学校高学年程度の四則演算・多段階推論を問う8,500問(訓練用7,500問・テスト用1,000問)から構成される。LLMの基礎的な数理推論力を測る指標として広く採用されており、モデル発表時のベンチマーク一覧に定番で登場する。ただし2026年時点の実運用では、GSM8K単体のスコアが高くても、桁数の大きい計算や複数ステップにまたがる実務的な数値処理(見積の按分や在庫の再配分など)では精度が落ちるケースがあるとされ、ベンチマークに最適化された過学習の懸念も指摘されている。現場でモデルを選定する際は、GSM8Kのスコアだけで判断せず、より難易度の高い推論ベンチと併用し、実際の業務データに近いプロンプトで検証するのが実務的とされる。APIのコストと精度のバランスを見る参考指標の一つとして位置づけるのが妥当と言える。
GSM8K (算数推論ベンチ)の使用例
- 問題例:「りんごが23個あり、5人で均等に分けた後3個余った。1人分は何個か」のような多段階の文章題が出題される。
- モデル比較時は「このモデルのGSM8Kスコアは何%か」を他の推論ベンチのスコアと併記して確認するのが一般的。
GSM8K (算数推論ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・552語以上を体系的に整理しています
辞典トップへ