LiveBenchとは？汚染ゼロのLLMベンチマークの読み方と落とし穴 (2026年版)

AIのモデルを選ぼうとして順位表を開いたら、サイトごとに1位が違う。しかも数字は軒並み90点台で、どれを信じればいいのか分からない。そんな状態で止まっている人が多いはずです。

その混乱の犯人のひとつが、ベンチマークの「汚染」です。LiveBenchはそこに正面から手を打った珍しい順位表で、だからこそ他の表と順位が食い違います。食い違いの理由が分かれば、順位表は一気に読めるようになります。

LiveBenchとは何か

LiveBenchとは、大規模言語モデル（LLM）の実力を測るために作られた、問題が定期的に入れ替わるベンチマークです。狙いはただひとつ、AIが答えを覚えてしまう状態を避けること。

ベンチマークというのは、要するにAIに解かせる共通テストのこと。学力テストと同じで、全員に同じ問題を出して点数を比べます。

問題は、この共通テストが公開されていることです。ネット上に問題と答えが載っていれば、次のAIはそれを学習データとして読み込んでしまう。人間でいえば、試験前に答案を丸ごと読んだ状態でテストを受けるのと変わりません。

この状態を、研究の世界ではテストセット汚染（contamination）と呼びます。汚染された順位表は、賢さではなく「どれだけ過去問を飲み込んだか」を測っているだけ。

LiveBenchの設計者は、ここを構造で殴りました。最近公開された論文や記事、競技問題といった「新しい情報源」から問題を作り、一定期間ごとに入れ替える。学習データに入り込む前の問題で試すので、暗記が効きません。

名前の「Live」は生放送のLive。締め切ったデータセットではなく、動き続けるテストという意味です。

この設計思想を押さえると、次に出てくる「3つの原則」がすんなり入ります。

LiveBenchの3つの設計原則をひとことで言うと？

LiveBenchは、問題の更新・客観採点・分野の多様さという3本柱で作られています。どれか1本でも欠けると順位表は歪みます。

公開されている設計方針は、次の3点に集約されます。

1. 頻繁な問題更新 最近の情報源から新しい問題を作り、定期的に差し替えます。数か月前のモデルが有利、という時間のズレを潰す仕組み。

2. AIに採点させない 後述しますが、これが一番大きい違いです。正解が機械的に決まる問題だけを出し、判定を自動化しています。

3. 分野を散らす 数学だけ、コードだけに偏らないよう、複数のカテゴリに分けて出題します。総合点と分野別点の両方が出るのはこのため。

3つを並べた表が下です。それぞれが何の課題への対処なのかを見ると、設計の意図がはっきりします。

つまり、LiveBenchの数字は「今この瞬間、見たことのない問題をどれだけ解けるか」に近い値です。ここが他の順位表との決定的な差になります。

なぜ「汚染されていないこと」がそこまで重要なのか？

汚染されたベンチマークは、モデルの実力ではなく学習データの中身を測ってしまいます。実務でいちばん困るのは、順位表の1位を選んだのに自社の仕事では期待外れ、という事故です。

想像してみてください。あるモデルが有名な数学ベンチマークで95点を取ったとします。素晴らしい成績。でも、その問題と模範解答が3年前からネット上にあったとしたら？

95点の内訳は、思考力かもしれないし、記憶かもしれない。区別がつきません。

そして業務で投げる仕事は、当然ながら学習データに載っていない新しいものです。記憶で稼いだ95点は、そこでは1点にもならない。

汚染は静かに進むのもやっかいなところ。ベンチマークが有名になるほど解説記事が増え、その解説がまた次のモデルの学習データになります。人気が出た瞬間から劣化が始まる構造。

LiveBenchが問題を入れ替え続けるのは、この劣化を運用でねじ伏せるためです。手間はかかりますが、他に方法がありません。

この考え方は、社内でAIツールを評価するときにもそのまま使えます。よくあるサンプル質問で試すのではなく、自社にしかない資料で試す。同じ理屈です。社内の点検業務にAIを組み込む話は内部監査業務のAI活用にまとめてあるので、評価設計の参考になります。

どんな問題が出るのか？

LiveBenchは分野をいくつかのカテゴリに分け、それぞれ別の作り方で問題を用意しています。競技数学とコーディングの比重が重いのが特徴です。

カテゴリは大きく分けて次のようなものが並びます。数学、コーディング、推論、データ分析、指示の遵守、そして言語系のタスク。

面白いのは問題の作り方です。たとえば言語系のタスクでは、最近公開された文章を機械的に並べ替えて「元の順序に戻せ」と問う形式が使われます。文章そのものが新しいので、暗記のしようがない。

コーディングは実際にコードを書かせ、テストコードを走らせて通るかどうかで判定します。それっぽい説明で点は取れません。

各カテゴリの狙いを整理したのが下の表です。自社の用途がどのカテゴリに近いかを探す用途で見てください。

つまり総合点だけ見ると、数学とコーディングが得意なモデルが上に来やすい構造になっています。ここを知らずに総合1位を業務に持ち込むと、後で首をかしげることになります。

採点はどうやっているのか？

LiveBenchの採点にはAI審判を使いません。数学は数式処理システムで同値かどうかを検証し、コーディングはテストケースを実行して合否を出します。

ここが他の順位表といちばん違う部分です。

近年のベンチマークの多くは、強いモデルに答案を採点させる「LLM-as-a-judge（AI審判）」という方式を採っています。手軽ですが、欠点が3つ。

• 採点役のAIが好む文体に高い点がつく
• 同じ答案を2回採点させると点が動くことがある
• 採点役より賢い答案を正しく評価できない

LiveBenchはこれを丸ごと捨てました。正解が機械的に決まる問題だけを出すという縛りを自らに課したわけです。

数学の答えが x = 2/3 でも x = 0.666... でも、数式処理システムに通せば同値だと判定できます。コードは実行して通るか通らないか。主観の入る余地がありません。

代償として、出せる問題の幅は狭くなります。「この企画書を魅力的に書き直して」のような、正解が一意に決まらない仕事は測れない。

長所と短所は表裏一体。下の比較表を見てください。

つまりLiveBenchの点数は「厳密だが守備範囲が狭い」性質を持ちます。文章作成の巧拙を知りたい人が見ても、答えは出てきません。

LiveBenchと他のベンチマークは何が違うのか？

LiveBenchは「見たことのない問題を解く総合力」、SWE-benchは「実際のバグ修正の成功率」を測ります。測っているものが違うので、順位が一致しないのは当たり前です。

よく並べて語られる指標を、ざっくり整理します。

SWE-bench Verified は、実在のソフトウェアに報告された不具合をAIに直させ、修正が通ったかで採点する形式です。エンジニアの日常業務にいちばん近い。

MMLU は幅広い学問分野の知識を四択で問う古典的なテスト。上位モデルがほぼ満点に近づいていて、差が出にくくなりました。

GPQA Diamond は博士課程レベルの科学問題。ARC-AGI-2 は見たことのないパターンを推測する抽象推論のテストです。

対戦型のアリーナ は人間がどちらの回答を好むかを投票で決める方式。実感には近いものの、丁寧な口調や長い回答が有利になる傾向が指摘されています。

こうして並べると、LiveBenchの立ち位置がはっきりします。

つまり、どれかひとつが正しいわけではありません。目的に応じて表を選ぶのが唯一の正解です。

LiveBenchの順位と実務がズレるのはなぜ？

LiveBenchは競技数学とエージェント的なコーディングの比重が高く、その2つが苦手なモデルは総合順位で沈みます。実務での使い勝手とは別の話です。

この現象を象徴する例が2026年に観測されています。

オープンウェイトのモデルMiniMax M2.5は、LiveBenchの総合ランキングでは27位という位置にいます。ところが実際のバグ修正を測るSWE-bench Verifiedでは80.2%を記録し、4位に食い込んでいる。同じモデルで、順位が23個も動きます。

なぜか。LiveBenchはIMO（国際数学オリンピック）級の難問が解けるかを問う設計だからです。M2.5はそこが得意ではない。けれど、実際のコードベースで不具合を直す仕事はこなせる。

順位が23も違うのは異常ではありません。測っているものが違うだけです。

社内でAIに任せたい仕事が「四半期の売上を資料から抜き出す」「議事録を定型に整える」といった実務寄りなら、IMOの成績はほぼ関係ない。むしろ指示遵守やデータ分析のカテゴリ別スコアを見るべきです。

ここで実践的な使い方を1つ。総合点は無視して、自社の用途に近いカテゴリの点だけ見る。LiveBenchはカテゴリ別スコアを公開しているので、これができます。総合点は言ってしまえば、複数の科目を足し合わせただけの数字。志望学部が決まっているなら、その科目の点を見ればいい。

ここまでの整理 LiveBenchは問題を入れ替えることで暗記を封じ、AI審判を使わないことで採点のブレを消したベンチマークです。その代わり、正解が一意に決まる問題しか出せず、数学とコーディングに寄っています。総合順位はそのまま業務の実力順ではありません。カテゴリ別スコアを見るのが正しい使い方です。

2026年7月時点の勢力図をどう読むか？

主要モデルは指標ごとにリードする分野が割れています。「総合最強」を1つ選ぶ発想は、もう通用しません。

2026年7月時点で公開されている集計を見ると、分野ごとにトップが違います。

フロンティア級のコーディングではClaude系のFable 5がSWE-bench Verifiedで95.0%を記録し、難問系のHLEでも53.3%でリードしています。科学的推論と抽象推論ではGemini系の3.1 ProがGPQA Diamondで94.3%、ARC-AGI-2で77.1%。パソコンを直接操作させるコンピュータ利用の分野ではGPT-5.4が先行しています。

さらに、オープンウェイト勢がコーディングの差を詰めてきました。MiniMax M2.5のSWE-bench 80.2%は、少し前ならトップ級だった水準です。

数字は数か月で塗り替わります。この表も参照日つきで読んでください。

つまり実務では、1つのモデルに全部を任せるより、仕事の種類でモデルを使い分けるほうが結果が出ます。ChatGPTとClaudeの性格の違いはChatGPTとClaudeの比較で、コーディング用途の分かれ道はClaude CodeとCursorの比較で細かく見られます。

自分でLiveBenchを動かすことはできるのか？

できます。公式のリポジトリに評価用のスクリプトが用意されていて、回答生成から採点、結果表示までを一括で実行できます。

公開されているスクリプトは run_livebench.py という名前で、モデル名とベンチマークの範囲を指定して呼び出します。コーディング分野だけを試す、といった絞り込みも可能。

流れはシンプルです。

• 評価対象のモデルを指定する
• 出題範囲（分野やリリース時期）を指定する
• 回答生成 → 採点 → 結果表示が自動で走る

環境構築とAPI料金は自前です。上位モデルで全カテゴリを回すと、それなりの費用がかかります。全分野を一気に回さず、自社の用途に近い分野だけ試すのが賢いやり方。

公式の情報は次の2か所にまとまっています。

• 順位表と概要: https://livebench.ai/
• コードとデータセット: https://github.com/LiveBench/LiveBench

自前実行の本当の価値は、順位を再現することではありません。同じ枠組みで自社の問題を測る発想を持ち帰ることです。

社内のモデル選定にどう使えばいい？

LiveBenchは候補を3つ程度に絞る一次審査に使い、最終判断は自社データを使った独自テストで下すのが実用的です。

具体的な手順を書きます。

ステップ1: 用途を1つに決める 「AI全般に強いモデル」を探すのをやめます。「請求書PDFから金額と取引先を抜き出す」くらいまで絞る。

ステップ2: 対応するカテゴリのスコアで3つに絞る 抽出作業ならデータ分析と指示遵守。コード生成ならコーディング。総合順位は見ません。

ステップ3: 自社の実データで20〜30件テストする ここが本番です。過去の実データを使い、同じ指示文を全モデルに投げて結果を比べる。指示文は全モデルで完全に同じものを使うこと。指示の質の差を性能の差と勘違いする事故が、いちばん多い失敗です。

ステップ4: 完了率だけでなく手直しの量を記録する 「できた／できない」の2値だと差が出ません。何回書き直させたか、人間が何分手を入れたかを残します。

用途別に見るべきカテゴリを表にしました。

つまりLiveBenchは、候補を減らす道具です。決める道具ではありません。

調査用途でモデルを選ぶなら、汎用チャットより検索特化型が向く場面もあります。日本語の調査に強いFeloの使い勝手はFelo完全ガイドにまとめてあります。無料で試せる範囲が広いので、比較の一角に入れる価値があります。

LiveBenchを信用しすぎてはいけない場面は？

文章の質、日本語の自然さ、料金対効果、応答の速さ。この4つはLiveBenchでは分かりません。

順に見ます。

文章の質 正解が一意に決まらないので、そもそも出題対象外です。キャッチコピーや企画書の巧拙は、自分の目で見るしかありません。

日本語の自然さ 問題は英語です。英語で高得点でも、日本語の敬語が崩れるモデルは実在します。日本語の業務で使うなら、日本語で試す以外に方法はない。

料金対効果 1問あたりの費用は測っていません。93点のモデルと89点のモデルの料金が10倍違うなら、多くの業務では89点が正解です。料金の考え方はAI料金の考え方の関連記事群も参考になります。

応答の速さ 社内チャットに組み込むなら、体感速度は正確さと同じくらい効きます。ここも別途の計測が必要。

さらに、画像や動画の生成能力もまったく対象外です。イラスト生成の実力を知りたい人が言語ベンチマークを見ても意味がありません。その領域はAIイラストツールの比較や、ローカル環境での生成を扱ったComfyUIとStable Diffusionの比較のほうが実用的です。

言い換えると、LiveBenchは「論理的に正しい答えを出せるか」だけを見る、極めて狭くて深い物差しです。狭いことは欠点ではありません。狭さを知らずに使うのが問題なだけ。

ベンチマークの数字に振り回されないための3つの習慣

順位表を見る前に、日付・出題範囲・自分の用途の3点を確認する習慣をつけると、判断の精度が上がります。

習慣1: 日付を最初に見る モデルは数か月で入れ替わります。半年前の記事の順位表は、資料としてはほぼ無価値。参照日が書かれていない順位表は、それだけで警戒対象です。

習慣2: 何を測ったかを1行で言えるようにする 「SWE-benchは実際のバグ修正の成功率」と説明できないうちは、その数字を根拠に会議で発言しないほうが安全です。

習慣3: 差が3ポイント以内なら同じとみなす 93点と91点のモデルは、実務ではまず区別がつきません。その2点差で高い方を選ぶより、料金と速度で選ぶほうが合理的です。

この3つを守るだけで、ベンチマーク記事の読み方が変わります。数字は主張ではなく、条件つきの観測値。条件を確認しないまま使うから、話がおかしくなります。

AI PICKS編集部の判定

LiveBenchは、モデル選定の一次スクリーニングとしては現状で一択です。問題を入れ替え続ける運用と、AIに採点させない縛り。この2つを同時にやっているベンチマークは他にほとんど見当たりません。数字が信用できるという一点で、重宝します。

ただし総合順位をそのまま社内の意思決定に持ち込むのは、正直イマイチな使い方です。MiniMax M2.5がLiveBenchで27位、SWE-bench Verifiedで4位という事実が、その危うさを端的に示しています。総合点は競技数学とエージェント的コーディングに引っ張られる構造で、請求書の読み取りや議事録の整形といった仕事とは相関しません。

推す使い方はひとつ。カテゴリ別スコアで候補を3つに絞り、自社の実データで20件テストして決める。ここまでやって初めて、ベンチマークは投資対効果を持ちます。順位表を眺めて終わる運用は、時間の使い方として微妙です。

日本語業務が中心なら、LiveBenchの点差より日本語での挙動差のほうが圧倒的に大きく出ます。そこは自分で測るしかありません。

よくある質問（FAQ）

Q. LiveBenchは無料で使えますか？

順位表の閲覧は無料です。評価コードとデータセットも公開されているので、自分で動かすこと自体に費用はかかりません。ただし評価対象モデルのAPI利用料は自己負担になります。全カテゴリを上位モデルで回すと相応の金額になるため、用途に近い分野だけ絞って実行するのが現実的です。

Q. なぜベンチマークによって順位が変わるのですか？

測っている中身が違うからです。LiveBenchは競技数学とエージェント的なコーディングの比重が高く、SWE-bench Verifiedは実在のバグ修正の成功率を見ています。同じモデルでも得意分野が違えば順位は入れ替わります。順位表を比べる前に、それぞれが何を測っているかを確認してください。

Q. 汚染されていないベンチマークは他にもありますか？

抽象的なパターン推論を問うARC-AGI-2のように、暗記が効きにくい設計のものはいくつか存在します。ただし「問題を定期的に入れ替える」運用を継続しているものは限られます。ベンチマークは公開された瞬間から汚染が始まるため、更新をやめた時点で信頼度が落ちていく点は共通の弱点です。

Q. 総合1位のモデルを選べば間違いないですか？

間違うことがあります。総合点は複数カテゴリの合算で、業務の用途と一致するとは限りません。資料からの情報抽出が主目的なら、データ分析と指示遵守のカテゴリ別スコアを見るべきです。総合1位は「平均的に優秀」を意味するだけで、あなたの仕事で最良とは限りません。

Q. 日本語の性能はLiveBenchで分かりますか？

分かりません。出題は英語です。英語で高得点のモデルが日本語では敬語を崩す、といった事例は普通にあります。日本語の業務で使うなら、日本語の実データで別途テストするしかありません。ここを省略した導入は、後から必ず手戻りが出ます。

Q. オープンウェイトのモデルでも実務に耐えますか？

用途によっては十分です。2026年7月時点でMiniMax M2.5がSWE-bench Verifiedで80.2%を記録しており、コーディング分野での差は明確に縮んでいます。ただし日本語対応や運用の手間、社内での動かしやすさは別問題です。性能だけで決めず、運用コストを含めて比較してください。

Q. 社内テストは何件くらいやれば判断できますか？

用途を1つに絞ったうえで20〜30件が目安です。件数より重要なのは、全モデルにまったく同じ指示文を投げること。指示文が違うと、指示の質の差を性能の差と読み違えます。あわせて「何回書き直させたか」を記録すると、完了率だけでは見えない差が出てきます。

Q. ベンチマークのスコアは何点差から意味がありますか？

3ポイント以内の差は実務ではほぼ体感できません。93点と91点で悩む時間があるなら、料金と応答速度で比べたほうが結果につながります。10ポイント以上開いているなら、さすがに使用感に差が出ます。

関連する比較・代替を見る

モデル選びは、順位表より1対1の比較のほうが判断が早いことがあります。用途が決まっている人向けの比較を並べておきます。

• ChatGPT vs Claude — 汎用チャットの二大巨頭。文章の癖と長文処理の差
• Claude vs Gemini — コーディング寄りか、科学的推論寄りかの分かれ道
• ChatGPT vs Gemini — 検索連携と業務ツール連携で比べる
• Claude Code vs Cursor — 開発現場でどちらを常用するか
• Cursor vs GitHub Copilot — エディタ統合型の使い分け
• Felo vs Perplexity — 調査用途に絞ったときの選択肢

カテゴリ単位で候補を洗いたいときはAIコーディングツール一覧やAIリサーチツール一覧から辿るのが早いです。開発現場での実装支援を探しているならClaude CodeやCursorのページに料金と対応環境がまとまっています。

次に読むならこれ。 社内でAIを実際の業務に組み込む段階に進んでいるなら、内部監査業務のAI活用がおすすめです。評価基準の作り方とチェック体制の設計が、そのままモデル選定の考え方に応用できます。

各ツールの公式サイト（一次情報）

料金・機能・対応範囲は各社公式が一次情報です。本記事は公開時点の検証に基づきますが、最新かつ正確な条件は必ず各公式ページで確認してください。

• Claude — 公式サイト（AI PICKSの詳細）
• ChatGPT — 公式サイト（AI PICKSの詳細）
• Gemini — 公式サイト（AI PICKSの詳細）