ガイド
定義
MBPPとは、初級者向けのPythonプログラミング問題集を使い、AIモデルのコード生成精度をpass@k形式で測定する評価ベンチマークのこと。
MBPP (Pythonコード生成ベンチ)とは（詳しく解説）
MBPPは「Mostly Basic Python Problems」の略で、初級プログラマーが解ける水準の短いPythonタスク（関数の実装やアルゴリズム問題など）約1,000問から構成される評価ベンチマークとして知られる。HumanEvalと並び、LLMのコード生成能力を測る業界標準の指標の一つとされ、pass@1やpass@kといった正答率で評価される。ただし2026年時点の実運用では、MBPPは問題が基礎的すぎるため、最新の大規模モデル同士のスコアが軒並み高水準で頭打ちになり、差がつきにくいという弱点が指摘されている。現場でモデル選定を行う際は、MBPPの数値だけでなく、実務で扱うような複雑な複数ファイル編集やライブラリ利用を伴うタスクを含む評価（SWE-benchなど）と併用するのが実務的な選び方とされる。また評価用データの一部が学習データに混入している疑い（データ汚染）も指摘されており、スコアを鵜呑みにせず、自社のユースケースに近いコストと精度のバランスで判断することが重要とされる。
MBPP (Pythonコード生成ベンチ)の使用例
- 「MBPPのpass@1で85%を達成したモデルは実務でも安全に使えますか」という比較質問の例。
- 「新モデル導入前にMBPPとSWE-benchの両方のスコアを確認してほしい」という社内レビュー依頼の例。
