ガイド
AI用語辞典評価指標
評価のばらつき (Eval Variance)
読み: ひょうかのばらつき
最終更新: 2026-08-31・AI PICKS編集部
定義
評価のばらつきとは、同じAIモデルや同じプロンプトに対する評価結果が、評価者・実行タイミング・サンプリング設定によって一致せず変動する現象のこと。
評価のばらつき (Eval Variance)とは — 詳しく解説
評価のばらつき（Eval Variance）とは、LLMの出力に対する評価スコアが、評価者（人間またはLLM審査員）・実行タイミング・温度やサンプリング設定の違いによって一定にならない問題を指す。生成AIの評価は分類タスクのような決定論的な正解判定と異なり、同一プロンプトでも生成結果自体が確率的にぶれるため、評価結果にも本質的なばらつきが生じるとされる。2026年時点の実運用ではLLM-as-a-judge方式が主流になった一方、審査モデルの表現差やプロンプトの言い回しでスコアが変動する「judge bias」が現場の悩みとして広く指摘されている。対策としては、同一入力に対する複数回評価の平均化、評価基準を明文化したルーブリックの併用、人間評価とのサンプリング突合によるキャリブレーションなどが一般的とされる。コスト面では評価回数を増やすほどAPI呼び出し費用が積み上がるため、精度とコストの相場感を見ながら評価頻度・サンプル数を選ぶのが現場での基本的な考え方とされる。
評価のばらつき (Eval Variance)の使用例
- 同じプロンプトを5回実行し、LLM審査員のスコアが70点台〜80点台まで振れた場合、評価のばらつきが疑われる。
- 「高評価が出やすいモデルを選ぶべきか、ばらつきを減らす評価設計を先にすべきか」という判断が現場で問われる。
評価のばらつき (Eval Variance)に関連するAIツール
評価のばらつき (Eval Variance)の関連記事
関連用語
「評価指標」の他の用語
MMLU
Massive Multitask Language Understanding。 57 分野・1.5 万問の LLM 知識評価ベンチマーク。
HumanEval
OpenAI 発の Python コーディング能力ベンチマーク。 164 問の関数実装タスク。
LM Arena (Chatbot Arena)
ユーザー投票による LLM の人間評価ランキング。 Elo レーティングで モデルを順位付け。
ベンチマーク (Benchmark)
ベンチマークとは、AIモデルの性能を標準化されたテスト課題で数値化し、異なるモデル間を公平に比較するための評価基準セットのこと。MMLUやHumanEval等、用途別に数十種類が存在する。
SWE-bench
SWE-benchとはGitHubの実際のIssueをAIが自動修正できるかを測る、コーディングAI評価の業界標準ベンチマークのこと。
GPQA
GPQAとは、生物・物理・化学の大学院レベルの難問でAIの推論力を測る評価ベンチマークのこと。Googleで検索しても解けない設計が特徴。
用語がわかったら、次はツール選び
12カテゴリ・1568語以上を体系的に整理しています