BBH (BIG-Bench Hard)
読み: びっぐべんちはーど
最終更新: 2026-07-19・AI PICKS編集部
定義
BBHとは、200以上のタスクを含むBIG-Benchの中から、従来のLLMが人間の平均正答率を下回った23の難問タスクだけを抽出した評価指標セットのこと。
BBH (BIG-Bench Hard)とは — 詳しく解説
BBHは、多岐にわたるタスクを収録したBIG-Benchのうち、当時のLLMがCoT(思考の連鎖)プロンプトなしでは人間の平均正答率を下回っていた23タスクだけを厳選したサブセットとされる。論理推論・因果判断・多段階の記号操作など、単純な知識想起では解けない問題が中心で、思考の連鎖(Chain-of-Thought)プロンプトを使うか否かでスコアが大きく変わる点が特徴とされる。モデルの基礎的な推論力を測る指標として研究論文やモデルカードで広く引用されているが、2026年時点の実運用では上位モデルの多くが高スコアに到達し、指標としての識別力が下がってきているとの指摘もある。現場でモデル選定に使う際は、BBH単体のスコアを鵜呑みにせず、自社ユースケースに近いタスク(要約・分類・エージェント的な多段推論など)で別途検証する運用が一般的とされる。評価パイプラインを自前で回す場合、プロンプト形式(few-shot/CoTの有無)の差でスコアが数十ポイント変動しうるため、相場感を掴むには複数条件での再現実験が必要になり、その分の計算コストと工数も選定時に見込んでおくべきとされる。
BBH (BIG-Bench Hard)の使用例
- 新モデル発表時、BBHのCoTあり/なしのスコア差から推論力の伸びを確認する。
- 「BBHは高スコアだが自社の多段階タスクでは精度が出ない」というギャップを選定時にチェックする。
BBH (BIG-Bench Hard)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・713語以上を体系的に整理しています
辞典トップへ