ガイド
定義
ホールドアウトとは、モデルの学習には一切使わず、性能評価だけのために取り分けておく非公開の検証データセットのこと。
ホールドアウト (非公開の検証データ)とは — 詳しく解説
機械学習の評価指標において、ホールドアウト法は学習データ・検証データ・テストデータの3分割のうち、モデルの調整や学習に一切触れさせない非公開のテストデータを指す。業界標準では、学習中のハイパーパラメータ調整には検証データを使い、最終的な汎化性能の確認にはホールドアウトデータを一度だけ用いるのが基本とされる。2026年時点の実運用では、データ量が少ないプロジェクトほどホールドアウトを厚めに確保すると学習データが不足し精度が伸び悩むため、交差検証と組み合わせて配分を調整する現場が多い。また、コストの観点では大規模言語モデルのファインチューニングにおいてホールドアウトの品質管理を怠ると、見かけ上の精度が高くても実運用投入後に性能が乖離する落とし穴があり、評価データの相場感としては全体の1〜2割を目安に確保しつつ、定期的な入れ替えで汚染を防ぐ運用が広く採用されている。
ホールドアウト (非公開の検証データ)の使用例
- 「このモデルの精度92%はホールドアウトデータでの評価値か、それとも学習に使った検証データでの値か」と確認する。
- 小規模データセットでホールドアウトを2割確保すると学習データが不足する場合、k分割交差検証への切り替えを検討する。
