定義
Arena-Hardとは、LMSYSが実ユーザーの投稿から抽出した高難度プロンプト集でLLM同士の応答品質をペア比較評価するベンチマークのこと。
Arena-Hard (難問対話ベンチ)とは（詳しく解説）
Arena-Hardは、Chatbot Arenaの実際のユーザー対話から抽出した500件前後の高難度プロンプトを用い、GPT-4クラスのモデルを審判役としてペアワイズで応答品質を比較するベンチマークとされる。コーディングや数学的推論、複雑な指示追従など人間でも判断に迷う難問中心に構成される点が、選択式のMMLU等と異なる特徴とされる。2026年時点の実運用では、審判モデルが冗長な回答や特定フォーマットを高評価しやすいバイアスを持つことが現場で指摘されており、単一指標だけでモデル選定を行うのは危険とされる。スコア算出は審判APIの呼び出しを伴うため、頻繁な再評価には相場感として数百〜数千回分のAPI呼び出しコストを見込む必要がある。実務では他ベンチマークやドメイン固有の評価と併用し、総合的に判断するのが現場の定石とされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「Arena-Hard (難問対話ベンチ)とは」 https://aipicks.jp/glossary/arena-hard
Arena-Hard (難問対話ベンチ)の使用例
- 新モデル採用前にArena-Hardスコアを他ベンチマークと突き合わせて総合判断する。
- 審判モデルの好みバイアスを疑い、複数の評価指標を横並びで確認する。
