HellaSwag (常識推論ベンチ)
読み: へらすわぐ
最終更新: 2026-07-14・AI PICKS編集部
定義
HellaSwagとは、状況の説明文に続く自然な文章を4択から選ばせ、AIモデルの常識的推論能力を測定するベンチマークのこと。
HellaSwag (常識推論ベンチ)とは — 詳しく解説
HellaSwagは、2019年にZellers氏らが提案した常識推論ベンチマークで、動画キャプションやWikiHowの記事から抽出した状況説明文に続く結末を、人間には自然だが機械には紛らわしい4つの選択肢から選ばせる形式で構成される。GPT-3以降の大規模言語モデルは人間の正解率(約95%)に迫るスコアを出すようになり、単体では性能差が見えにくい飽和気味の指標とされる。2026年時点の実運用では、HellaSwag単独でモデルを選定する現場は少なく、MMLUやGSM8Kなど他ベンチマークと組み合わせたスコア比較が一般的とされる。加えて敵対的サンプル生成の手法自体が古くなっており、後発モデルの訓練データにベンチマーク内容が混入する「汚染」リスクも指摘される。コスト面では、自前でモデルを呼び出して再現実行すると費用がかさむため、公開済みのリーダーボード数値を相場感の参照先として使うだけで十分なケースが多いとされる。
HellaSwag (常識推論ベンチ)の使用例
- プロンプト例: 状況説明文の続きとして最も自然な結末をA〜Dの4択から選ばせ、正答率でモデルの常識推論力を比較する。
- 活用例: 新しいオープンモデルの発表時にHellaSwagのスコアをリーダーボードで確認し、他ベンチマークと合わせて比較する。
HellaSwag (常識推論ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・552語以上を体系的に整理しています
辞典トップへ