ガイド
定義
生成多様性の指標とは、LLMが生成する複数の応答や文章がどれだけ似通わず多様かを数値化する評価軸のことで、Distinct-nやSelf-BLEUが代表的な手法である。
生成多様性の指標 (Distinct-n / Self-BLEU)とは — 詳しく解説
生成多様性の指標は、LLMが出力する文章や画像の多様性を定量評価する手法群で、Distinct-nはn-gramの重複しない割合を、Self-BLEUは生成サンプル同士の類似度を測ることで多様性の低さを検出する。学術的なテキスト生成評価では標準的な補助指標とされ、精度や流暢さだけでは捉えられない「同じような答えばかり返す」問題を数値化できる点が評価されている。ただし2026年時点の実運用では、指標単体を最適化目標に据えると文法的に不自然な文や無意味な語の挿入で数値だけが改善するケースが知られており、可読性や事実性のチェックと併用しないと誤った改善判断につながる落とし穴がある。また多様性を高める設定（温度パラメータやtop-pの調整）は生成コストや再生成の手戻りに直結するため、現場ではAPI呼び出し回数とのバランスを見て、チャットボットの雑談応答など多様性が価値になる用途に絞って計測対象を選ぶのが一般的とされる。相場感としては単体の商用SaaSは少なく、評価パイプラインの一部として自前実装されることが多い。
生成多様性の指標 (Distinct-n / Self-BLEU)の使用例
- 同じプロンプトで5回生成し、Distinct-2で語彙の重複率を確認するテスト手順の例。
- チャットボットの雑談応答をSelf-BLEUで比較し、テンプレ化していないか点検する運用例。
