ELYZA-tasks-100 (日本語指示追従評価)
読み: いーらいざたすくすひゃく
最終更新: 2026-08-01・AI PICKS編集部
定義
ELYZA-tasks-100とは、日本語LLMの複雑な指示追従能力を100件の多様なタスクで評価するベンチマークのこと。
ELYZA-tasks-100 (日本語指示追従評価)とは — 詳しく解説
ELYZA-tasks-100は、ELYZA社が公開した日本語LLM評価用データセットで、要約・分類・数値計算・創作など多様なジャンルの100件の指示応答タスクから構成される。選択式ベンチマークと異なり、自由記述の出力をGPT-4などの強力なLLMや人手で採点する「LLM-as-a-Judge」方式が広く採用されている点が特徴とされる。日本語対応モデルの選定材料としてリーダーボードが参照される一方、2026年時点の実運用では、ジャッジモデルやプロンプトのバージョン差でスコアが変動しやすく、単一スコアだけでモデルを決め打ちするのはリスクが高いと現場では認識されている。件数が100件と少なく統計的なばらつきが出やすいこと、公開データゆえに学習データへの混入(コンタミネーション)を否定しにくいことも落とし穴とされる。自前でLLM-as-a-Judge評価を回す場合はジャッジ用API呼び出しのコストが発生するため、相場感としては他の日本語ベンチマークと併用し複数指標で選定するのが実務での標準的なやり方とされる。
ELYZA-tasks-100 (日本語指示追従評価)の使用例
- 「取引先向けメールを丁重な敬語で3パターン作成して」のような複合指示への応答をLLM-as-a-Judgeで採点する例。
- 複数の日本語LLM候補をELYZA-tasks-100のスコアで比較し、一次選定の参考指標の一つとして使う。
ELYZA-tasks-100 (日本語指示追従評価)に関連するAIツール
関連用語
「評価指標」の他の用語
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
AI用語辞典をすべて見てみませんか
12カテゴリ・1313語以上を体系的に整理しています
辞典トップへ