MBPP (Pythonコード生成ベンチ)
読み: えむびーぴーぴー
最終更新: 2026-07-19・AI PICKS編集部
定義
MBPPとは、初級者向けのPythonプログラミング問題集を使い、AIモデルのコード生成精度をpass@k形式で測定する評価ベンチマークのこと。
MBPP (Pythonコード生成ベンチ)とは — 詳しく解説
MBPPは「Mostly Basic Python Problems」の略で、初級プログラマーが解ける水準の短いPythonタスク（関数の実装やアルゴリズム問題など）約1,000問から構成される評価ベンチマークとして知られる。HumanEvalと並び、LLMのコード生成能力を測る業界標準の指標の一つとされ、pass@1やpass@kといった正答率で評価される。ただし2026年時点の実運用では、MBPPは問題が基礎的すぎるため、最新の大規模モデル同士のスコアが軒並み高水準で頭打ちになり、差がつきにくいという弱点が指摘されている。現場でモデル選定を行う際は、MBPPの数値だけでなく、実務で扱うような複雑な複数ファイル編集やライブラリ利用を伴うタスクを含む評価（SWE-benchなど）と併用するのが実務的な選び方とされる。また評価用データの一部が学習データに混入している疑い（データ汚染）も指摘されており、スコアを鵜呑みにせず、自社のユースケースに近いコストと精度のバランスで判断することが重要とされる。
MBPP (Pythonコード生成ベンチ)の使用例
- 「MBPPのpass@1で85%を達成したモデルは実務でも安全に使えますか」という比較質問の例。
- 「新モデル導入前にMBPPとSWE-benchの両方のスコアを確認してほしい」という社内レビュー依頼の例。
MBPP (Pythonコード生成ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・713語以上を体系的に整理しています
辞典トップへ