MGSM (多言語算数ベンチ)
読み: えむじーえすえむ
最終更新: 2026-07-21・AI PICKS編集部
定義
MGSMとは、英語の数学文章題ベンチマークGSM8Kを日本語・中国語・スワヒリ語など複数言語に翻訳し、LLMの多言語数学推論力を測るベンチマークのこと。
MGSM (多言語算数ベンチ)とは — 詳しく解説
MGSM(Multilingual Grade School Math)は、英語の小学校算数文章題ベンチマークGSM8Kを日本語・ドイツ語・スワヒリ語など十数言語に人手翻訳し、LLMの多言語での数学推論能力を測る評価指標として業界標準的に使われている。モデルの技術報告書で英語ベンチと並んで引用されることが多く、多言語対応をうたうモデルの実力比較に使われる。ただし2026年時点の実運用では、英語での正答率と比べて低リソース言語(スワヒリ語など)のスコアが大きく落ちる傾向が広く指摘されており、「多言語対応」表示だけを鵜呑みにせず、実際に使う言語のスコアを個別に確認する姿勢が現場では求められる。またベンチマーク自体の実行にはAPIコストがかかるため、自前で全言語を回すよりは公開されているリーダーボードの数値を相場感として参照し、自社の対象言語(日本語など)に絞って追試するのがコストと精度のバランスが良い選び方とされる。
MGSM (多言語算数ベンチ)の使用例
- モデル選定時に日本語でのMGSMスコアを英語のGSM8Kスコアと比較し、日本語での数学推論力の劣化幅を確認する。
- 技術報告書のMGSM言語別スコア表から、自社で使う言語(例: 日本語)の行だけを見て導入判断する。
MGSM (多言語算数ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・813語以上を体系的に整理しています
辞典トップへ