Common Crawl - 开源互联网存档项目

sowang

Common Crawl 是一个由非营利组织运营的开源互联网存档项目，自2008年启动以来，它通过大规模分布式爬虫系统定期抓取整个Web，并免费向公众开放。它就像是互联网的“记忆库”，积累了PB级别的海量数据，是当今训练大语言模型（LLM）最核心的基础语料库之一。

官网地址

官方网站：https://commoncrawl.org/

核心特色

规模极其庞大：数据集包含超过3000亿个网页，覆盖100多种语言。每月新增30亿至50亿个网页，仅单月快照的原始数据量就可达数百TB。

完全免费开放：无需注册、无需申请许可，数据托管在亚马逊S3上，支持通过HTTP(S)或S3协议直接免费下载。

多模态与结构化支持：除了基础的网页HTML和纯文本，2025年的更新还引入了网页图像/视频元数据索引、更精确的语言检测以及表格等结构化内容的提取。

大模型预训练基石：它是GPT-3、LLaMA、Falcon等全球顶尖开源大模型的核心预训练数据来源。

适用场景

大语言模型（LLM）预训练：作为通用知识学习的最主要语料库，用于构建基座模型。

历史网页与趋势分析：追踪特定网站随时间的演变、分析互联网结构变化及社交媒体舆论趋势。

搜索引擎优化（SEO）与竞品分析：分析竞争对手的网站排名、关键字策略及外链情况。

学术研究：支持自然语言处理、网页结构分析、网络审查研究等广泛的学术探索。