IFEval (指示追従ベンチ)
読み: あいえふいーばる
最終更新: 2026-07-14・AI PICKS編集部
定義
IFEvalとは、大規模言語モデルが「300字以内で書け」などの具体的な指示にどれだけ正確に従えるかを機械的に採点する指示追従ベンチマークのこと。
IFEval (指示追従ベンチ)とは — 詳しく解説
IFEvalはGoogleが2023年に提案した指示追従ベンチマークで、「300語以内で書け」「見出しは3つ以上」のように機械的に正誤判定できる指示を大量のプロンプトに埋め込み、モデルが厳密に守れたかをstrict/looseの2基準でスコア化する。MMLUやGSM8Kと並び、新モデル発表時の性能比較表に定番で登場する業界標準指標の一つになっている。ただし2026年の実運用では、IFEvalのスコアが高くても日本語特有の敬語指定や社内フォーマット規定までは保証されない点が落とし穴で、ベンチマークは英語の定型的な指示が中心という限界がある。現場でモデルを選定する際は、IFEvalを足切りの参考値として使いつつ、自社ユースケースを模した独自の指示追従テストを別途組むのが定石。評価自体は無料の公開スクリプトだが、複数モデルを横断で回すとAPI呼び出しのコストが積み上がる点も見積もっておきたい。
IFEval (指示追従ベンチ)の使用例
- 「500字以内で、必ず箇条書きを3つ使って回答せよ」という指示への遵守率をIFEvalは自動採点する。
- 新モデル発表時のベンチマーク表でMMLU・GSM8Kと並んでIFEvalスコアが並記されることが多い。
IFEval (指示追従ベンチ)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・552語以上を体系的に整理しています
辞典トップへ