Common Crawl (Web大規模コーパス)
読み: こもんくろーる
最終更新: 2026-08-01・AI PICKS編集部
定義
Common Crawlとは、インターネット上のWebページを定期的に大規模収集し、誰でも無料で利用できる形で公開しているアーカイブデータおよびその非営利団体のことである。
Common Crawl (Web大規模コーパス)とは — 詳しく解説
Common Crawlは2008年から運営される非営利団体で、Webクローラーが収集した数十億ページ規模のHTML・テキストデータを毎月無料で公開しており、GPT-3をはじめ多くの大規模言語モデルの事前学習コーパスの主要な構成要素として使われてきたとされる。2026年時点の実運用では、生データはノイズ・重複・低品質サイト・スパムを大量に含むため、そのまま学習に使うことは少なく、C4やRefinedWeb、FineWebのようにフィルタリング・重複排除・言語判定を経て精製したサブセットを使うのが現場での一般的な選び方とされる。AWS S3上でホストされているため取得自体は無料だが、数十TB〜PB級のデータを自前でダウンロード・前処理するには相応のストレージ費用と計算コストがかかる点はコスト感として見落とされやすい。そのため個人や小規模チームでは、生のWARC/WETファイルに直接手を出すより、既に精製済みの公開コーパスを利用する選択が現実的とされる。
Common Crawl (Web大規模コーパス)の使用例
- GPT-3の事前学習データセットにはCommon Crawlから抽出したWebテキストが含まれていたとされる。
- 自社LLMを一から事前学習する際、Common CrawlベースのFineWebのような精製済みコーパスを使う選択肢がある。
Common Crawl (Web大規模コーパス)に関連するAIツール
関連用語
「インフラ・学習」の他の用語
既存の AI モデルを 自社データで追加学習させて 専門特化させる方法。
データから法則を自動学習させる AI 技術の総称。 ディープラーニングや LLM もここに含まれる。
ニューラルネットワークを多層化した機械学習手法。 LLM / 画像認識 / 音声認識 の基盤技術。
Self-Attention 機構を中核とするニューラルネット構造。 LLM / 画像 / 音声 すべての基盤。
入力系列のどこに注目すべきかを 動的に重み付けする仕組み。 Transformer の中核。
LoRAとは、大規模モデルの重みを凍結したまま低ランク行列ペアを追加挿入することで、全パラメータの1%以下の計算コストで特定ドメインへの適応を実現するファインチューニング手法のこと。
AI用語辞典をすべて見てみませんか
12カテゴリ・1313語以上を体系的に整理しています
辞典トップへ