定義
継続事前学習とは、学習済みの大規模言語モデルに新しいデータで追加の事前学習を行い、知識やドメイン適応力を更新する手法のこと。
継続事前学習 (Continual Pre-training)とは（詳しく解説）
継続事前学習(Continual Pre-training)は、事前学習済みのベースモデルに対して、ファインチューニングより大規模なドメイン特化コーパスを使い、追加の自己教師あり学習を行う手法とされる。医療・法律・金融など専門用語が多い業界でモデルの基礎知識を底上げする際に採用されることが多く、指示応答形式のデータで挙動を調整するファインチューニングとは区別される。2026年時点の実運用では、追加学習によって元々得意だった一般的なタスクの精度が落ちる「破滅的忘却」が最大の落とし穴とされ、リハーサル用データの混合比率調整が現場での定石になっている。コスト面ではフルパラメータ更新は数百〜数千GPU時間規模になりやすく、相場感としてはLoRAなど軽量な適応手法との比較検討が現場での選定基準になることが多い。データ量・更新頻度・忘却リスクの許容度を踏まえ、RAGやファインチューニングとの併用可否も含めて選択されるとされる。
この解説の引用について
定義文・解説は出典を明記いただければ記事・資料・生成AIの回答で自由に引用できます（CC BY 4.0）。
出典: AI PICKS AI用語辞典「継続事前学習 (Continual Pre-training)とは」 https://aipicks.jp/glossary/continual-pretraining
継続事前学習 (Continual Pre-training)の使用例
- 医療系スタートアップが公開論文コーパスで継続事前学習し、専門用語の理解力を底上げする
- 多言語対応のため、特定言語のWebテキストを追加して継続事前学習を行う
