Humanity's Last Exam (HLE)
読み: ひゅーまにてぃーずらすとえぐざむ
最終更新: 2026-06-28・AI PICKS編集部
定義
HLEとはScale AIとCenter for AI Safety(CAIS)が2025年に公開した、博士課程レベルの難問2,500問でAIの推論限界を測る超難関ベンチマークのこと。
Humanity's Last Exam (HLE)とは — 詳しく解説
Humanity's Last Exam(HLE)は、Scale AIとCenter for AI Safety(CAIS)が2025年1月に公開したAIベンチマーク。数学・物理・化学・生物・歴史・哲学など100以上の専門分野から、検索だけでは解けない「本物の知識と推論」を要する難問2,500問を収録する。問題はすべて検証可能な正解を持ち、専門家でも解けないよう設計されている。 公開当初はGPT-4oやClaude 3.5 Sonnetでも正答率10%未満と低く、「AIが人類の知識の限界にまだ届いていない」ことを示す指標として注目された。2026年現在、フロンティアモデルでも正答率は20〜30%台に留まっており、AGI到達度の現実的な物差しとして実運用・研究現場で広く参照されている。 AI PICKSの現場調査では、HLEスコアを単独ではなく複数ベンチマークの一つとして参照する企業が主流だ。「HLEが高い=業務最適」ではなく、タスク適合度・レイテンシ・APIコストの相場感(高度推論モデルは標準比2〜5倍)も含めて評価するのが2026年の選び方の標準となっている。
Humanity's Last Exam (HLE)の使用例
- GPT-4oのHLE正答率は約8%(2025年1月)。2026年最新モデルでは同ベンチマークで25%超に改善が見られる。
- 科学・数学推論が必要な業務でモデルを選定する際、HLEスコアを参照して上位モデルを優先候補にする。
Humanity's Last Exam (HLE)に関連するAIツール
Humanity's Last Exam (HLE)の関連記事
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1418語以上を体系的に整理しています