継続事前学習 (Continual Pre-training)
読み: けいぞくじぜんがくしゅう
最終更新: 2026-07-27・AI PICKS編集部
定義
継続事前学習とは、学習済みの大規模言語モデルに新しいデータで追加の事前学習を行い、知識やドメイン適応力を更新する手法のこと。
継続事前学習 (Continual Pre-training)とは — 詳しく解説
継続事前学習(Continual Pre-training)は、事前学習済みのベースモデルに対して、ファインチューニングより大規模なドメイン特化コーパスを使い、追加の自己教師あり学習を行う手法とされる。医療・法律・金融など専門用語が多い業界でモデルの基礎知識を底上げする際に採用されることが多く、指示応答形式のデータで挙動を調整するファインチューニングとは区別される。2026年時点の実運用では、追加学習によって元々得意だった一般的なタスクの精度が落ちる「破滅的忘却」が最大の落とし穴とされ、リハーサル用データの混合比率調整が現場での定石になっている。コスト面ではフルパラメータ更新は数百〜数千GPU時間規模になりやすく、相場感としてはLoRAなど軽量な適応手法との比較検討が現場での選定基準になることが多い。データ量・更新頻度・忘却リスクの許容度を踏まえ、RAGやファインチューニングとの併用可否も含めて選択されるとされる。
継続事前学習 (Continual Pre-training)の使用例
- 医療系スタートアップが公開論文コーパスで継続事前学習し、専門用語の理解力を底上げする
- 多言語対応のため、特定言語のWebテキストを追加して継続事前学習を行う
継続事前学習 (Continual Pre-training)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・1063語以上を体系的に整理しています
辞典トップへ