如今每6个被AI爬虫抓取的网站中，就有1个是AI自己生成的

sowang

@智慧科技迷

【#AI正在撕裂互联网#，#AI现在只能吃垃圾食品#】近日，美国西北大学的一项研究显示，AI正在撕裂互联网，如今每6个被AI爬虫抓取的网站中，就有1个是AI自己生成的。

过去几十年，互联网有个默认“潜规则”：网站对搜索引擎免费开放，用户想看详细内容，得点进原始链接。这种模式对双方都有利：网站获得流量，搜索引擎获得内容。但生成式AI爆发后，这种默契被打破了。AI爬虫抓取网页内容用于训练模型、生成答案，却很少回链原始出处。即便给出来源链接，也并非强制，有时甚至链接是编造的。这让很多优质网站流量大幅下滑。为自保，不少网站开始屏蔽AI爬虫。更夸张的是，目前全球近60%的网络流量由AI生成，去年10月起，全网超过一半的新英文文章都出自AI之手。结果就是，AI“吃”到的数据，越来越多来自垃圾网站，甚至AI自己生产的内容。想找真正靠谱的信息，越来越难。这就像AI在吃“垃圾食品“，甚至是AI的“排泄物”。当AI在越来越多AI生成的内容上反复训练，输出质量会逐步下降，这种现象被称为“模型崩溃”。

科学家因此建议：与其迷信AI，不如回归传统搜索引擎。当然，现在想找完全不依赖AI的搜索引擎并不容易。但有个简单实用的做法，搜索时别只看置顶的AI摘要，多向下滚动几页，点开真正的人类写的原始链接，那才是更靠谱的选择。