ガイド
AI用語辞典評価指標
BigCodeBench (実用コード生成ベンチ)
読み: びっぐこーどべんち
最終更新: 2026-09-01・AI PICKS編集部
定義
BigCodeBenchとは、複数ライブラリを組み合わせた実践的なタスクでLLMのコード生成能力を測るベンチマークのこと。
BigCodeBench (実用コード生成ベンチ)とは — 詳しく解説
BigCodeBenchは、HumanEvalやMBPPのような単純なアルゴリズム問題ではなく、複数のライブラリやAPIを組み合わせて解く実践的なコーディングタスクでLLMの実力を測る評価指標として、2026年時点で業界標準の一つとされる。関数呼び出しの正確性やライブラリの使い分けを問うため、単純なコード生成ベンチマークより実務に近いとされる。ただし現場での落とし穴として、ベンチマークスコアが高くても実運用のコードベースでは依存ライブラリのバージョン差やプロジェクト固有の設計制約が絡み、期待通りの精度が出ないケースがあると指摘される。モデル選定の相場感としては、スコア差だけでなく生成コストや推論速度も含めて比較検討することが現場での選び方として重要とされる。
BigCodeBench (実用コード生成ベンチ)の使用例
- コード生成モデルを選定する際に「BigCodeBenchのスコア比較表を作って」と依頼し候補モデルを絞り込む。
- 「このタスクはBigCodeBenchのどのカテゴリに近いか」を聞いてベンチマーク結果の解釈精度を上げる。
BigCodeBench (実用コード生成ベンチ)に関連するAIツール
BigCodeBench (実用コード生成ベンチ)の関連記事
関連用語
「評価指標」の他の用語
MMLU
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
HumanEval
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
LM Arena (Chatbot Arena)
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマーク (Benchmark)
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-bench
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQA
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1618語以上を体系的に整理しています