本ページはプロモーションを含みます（掲載基準）
PaperBench (論文再現ベンチ)の定義
PaperBenchとは、AIエージェントが最新の機械学習論文を読み、実装コードをゼロから書いて実験結果を再現できるかを測る評価ベンチマークのこと。
PaperBench (論文再現ベンチ)とは（詳しく解説）
PaperBenchは、OpenAIが2025年に公開した、AIエージェントの研究再現力を測るベンチマーク。ICML 2024の論文20本を対象に、論文を読んでコードを書き、実験を実行して結果を再現させる。採点は論文ごとの階層的な採点基準に沿って、LLMの判定器が各項目の達成度を集計する方式とされる。2026年の実運用では、長時間の実行となるため、GPU代とAPI費用のコストが膨らみやすい点が落とし穴になる。判定器の誤判定や、論文の公開コードを参照してしまう不正も課題で、スコアの絶対値より同一条件での比較に使うのが現場の基本だ。モデル選定では、コーディング系ベンチと併せて見て、自社の長時間タスクに近いかを確認するとよい。
PaperBench (論文再現ベンチ)を調べた人に
AIで
エディタのAIを使いこなしたい人向けの講座と、コードなしで作れるツールです。
初月10ドルオフ（新規ユーザー）
Claude CodeやCursorへの指示を声で入力できる。日本語にも対応し、Mac・Windowsのどの入力欄でも使える（無料は1,000語まで）
AI音声・文字起こし ／ 最低料金 ¥0〜
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「PaperBench (論文再現ベンチ)とは」 https://aipicks.jp/glossary/paperbench
PaperBench (論文再現ベンチ)の使用例
- 新モデルの導入前に、同じ計算予算とタイムアウトでPaperBenchを回し、旧モデルとのスコア差を比べる。
- 採点の判定器をLLMに任せる場合は、一部の項目を人手で抜き取り確認し、判定のぶれを把握しておく。
PaperBench (論文再現ベンチ)に関連するAIツール
PaperBench (論文再現ベンチ)の関連用語
12カテゴリ・1874語以上を体系的に整理しています