定義
G-Evalとは、LLMにChain-of-Thoughtで評価基準を推論させ、生成テキストの品質をスコアリングする評価フレームワークのこと。
G-Eval (LLM採点フレームワーク)とは（詳しく解説）
G-Evalは2023年にMicrosoft Researchの論文で提案された、LLM自身を評価者(LLM-as-a-judge)として使う自動評価フレームワークである。事前に定義した評価基準(一貫性・流暢さ・関連性など)をプロンプトに埋め込み、GPT-4などのLLMにChain-of-Thoughtで採点根拠を推論させたうえで、出力トークンの確率分布を重み付け加算してスコアを算出する点が特徴とされる。人手評価との相関がBLEUやROUGEなど従来指標より高いとされ、要約や対話生成などの評価に広く採用されている。ただし2026年時点の実運用では、評価に使うLLM自身の採点基準ブレ(同じ入力でもスコアが揺れる)や、評価対象と同系統モデルを判定に使うと自己贔屓的にスコアが甘くなる傾向が課題として指摘される。また評価用LLMのAPI呼び出しが積み重なるため、大量サンプルを回すとコストが無視できない規模になりやすく、現場では評価対象の重要度に応じてG-Evalとルールベース指標を併用し、コストと精度のバランスを取る選び方が一般的とされる。
G-Eval (LLM採点フレームワーク)の使用例
- 要約生成AIの出力に対し、G-Evalで「一貫性」「流暢さ」を1-5点でスコアリングし人手評価の代替として使う例が知られる。
- プロンプト例:「以下の基準で要約を1-5点評価し、各ステップの根拠をChain-of-Thoughtで述べよ」という形式が典型とされる。
