定義
ベンチマーク飽和とは、AIモデルの性能向上によって主要ベンチマークで上位モデルのスコアが軒並み高得点に張り付き、モデル間の実力差を判別できなくなる現象のこと。
ベンチマーク飽和 (Saturation)とは（詳しく解説）
ベンチマーク飽和とは、GSM8KやMMLUのような主要ベンチマークで上位モデルのスコアが90%台後半から満点近くに達し、モデル同士の点差がほとんど無くなって実力の判別に使えなくなる状態を指す。業界では、あるベンチマークが飽和すると、より難化させた上位互換ベンチマーク(MMLUに対するMMLU-Pro、GSM8Kに対するMATHなど)へ評価の物差しを移していく流れが定着しているとされる。2026年時点の実運用での落とし穴は、飽和した旧ベンチマークのスコアだけを見て「どのモデルも横並びで差がない」と早合点し、実際には推論速度・料金・日本語精度など現場で効く差を見落としてしまうことだ。飽和後は数値の差よりも、レイテンシやコストパフォーマンスといった非精度指標で選定する現場が増えているとされる。また新しい難化版ベンチマークへの追随評価にも工数とAPI利用料のコストがかかるため、社内運用ではまず自社タスクに近い小規模な独自評価セットを用意し、汎用ベンチのスコアは足切り程度の参考値にとどめるのが現場での選び方として広く採用されているとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「ベンチマーク飽和 (Saturation)とは」 https://aipicks.jp/glossary/benchmark-saturation
ベンチマーク飽和 (Saturation)の使用例
- MMLUで上位モデルが軒並み95%超になった場合、その差でモデルを選ばず、自社業務に近い独自評価セットで比較検討する。
- 汎用ベンチが飽和している領域では、スコア差ではなくレイテンシや月額料金といった非精度指標で候補を絞り込む。
