キャリブレーション (Calibration / ECE)の使い方や活用例を教えてください

代表的な活用例は次のとおりです。たとえばモデルが「確信度90%」と判定した集合のうち、実際の正解率もおよそ90%であればキャリブレーションが取れていると言える。/医療画像診断AIが「悪性の確率85%」と出力した場合、同条件の集合全体で実際の悪性割合も85%に近いことが望ましいとされる。

AI用語辞典評価指標

キャリブレーション (Calibration / ECE)

Q: キャリブレーション (Calibration / ECE)とは何ですか？

キャリブレーションとは、モデルが出力する予測確率(確信度)が実際の正解率とどれだけ一致しているかを示す指標のこと。キャリブレーションは、分類モデルが出す確信度(予測確率)が実際の正解率とどれだけ整合しているかを測る概念で、代表的な指標にECE(Expected Calibration Error)がある。業界標準の評価では、予測を確信度ごとにビン分けし、各ビンの平均確信度と実際の正解率の差を加重平均して算出する。深層学習モデルは精度が高くても確信度が実際より過大に出やすい(overconfidence)ことが広く知られており、医療診断や与信審査など意思決定に確信度を使う場面では特に注意が必要とされる。

読み: きゃりぶれーしょん

最終更新: 2026-07-20・AI PICKS編集部

定義

キャリブレーションとは、モデルが出力する予測確率(確信度)が実際の正解率とどれだけ一致しているかを示す指標のこと。

キャリブレーション (Calibration / ECE)とは — 詳しく解説

キャリブレーションは、分類モデルが出す確信度(予測確率)が実際の正解率とどれだけ整合しているかを測る概念で、代表的な指標にECE(Expected Calibration Error)がある。業界標準の評価では、予測を確信度ごとにビン分けし、各ビンの平均確信度と実際の正解率の差を加重平均して算出する。深層学習モデルは精度が高くても確信度が実際より過大に出やすい(overconfidence)ことが広く知られており、医療診断や与信審査など意思決定に確信度を使う場面では特に注意が必要とされる。2026年時点の実運用では、キャリブレーションを無視して確信度をそのまま閾値判定に使い、誤判定が積み重なる落とし穴が指摘されている。現場での対策としてはTemperature ScalingやPlatt Scalingといった事後補正の追加、検証データでのECE継続監視が選ばれることが多く、追加コストは比較的小さいため、相場感としてリスクが高い意思決定領域ほど優先導入する価値があるとされる。