ベンチマーク (Benchmark)
読み: べんちまーく
最終更新: 2026-06-25・AI PICKS編集部
定義
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
ベンチマーク (Benchmark)とは — 詳しく解説
ベンチマークはAI研究・開発において不可欠な評価フレームワーク。代表例として、言語理解の総合評価に使われるMMLU（14,000問以上）、コード生成精度を測るHumanEval、数学的推論を問うGSM8Kなどがある。 2026年時点の実運用では、いくつかの落とし穴が顕在化している。第一に「リークバイアス」問題。主要ベンチマークのデータが学習データに混入し、スコアが実性能を過大評価するケースが増加しており、有名ベンチマークで高スコアのモデルが現場タスクで期待外れになることは珍しくない。 第二にコスト。フルベンチマーク評価をAPIで実行すると数万〜十数万円規模になるため、スタートアップでは通常サブセット評価（数百問）で代替する。相場感として、APIコスト$50〜$200程度でのミニ評価が一般的。 第三に「タスクミスマッチ」。汎用ベンチマーク上位モデルが特定業務（法律文書・医療記録・日本語敬語処理等）では劣る事例は多い。AI PICKSが推奨する現場での選び方は「実業務に近いカスタム評価セットを20〜50問自作し、汎用ベンチと組み合わせる」こと。LMSYSのChatbot ArenaやOpenLLM Leaderboardが2026年現在の主要参照先となっている。
ベンチマーク (Benchmark)の使用例
- GPT-4oとClaude 3.5のMMLUスコアを比較し、法律文書要約タスク向けモデルを選定する際のベンチマーク活用の典型例。
- 自社コールセンターログ50件を評価セットとして作成し、複数LLMの日本語応答品質をAPIコスト$30以内で比較評価する実践例。
ベンチマーク (Benchmark)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
レイテンシとは、AIモデルにリクエストを送信してから最初のレスポンスが返るまでの応答時間のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・102語以上を体系的に整理しています
辞典トップへ