请选择 进入手机版 | 继续访问电脑版

搜索爱好者

 找回密码
 注册会员

QQ登录

只需一步,快速开始

查看: 1947|回复: 0

搜狗spider的抓取频次是怎样的?

[复制链接]
发表于 2019-2-12 00:55:20 | 显示全部楼层 |阅读模式
sogou spider 对于同一个 IP 地址的服务器主机,只建立一个连接,抓取间隔速度控制在几秒一次。一个网页被收录后,最快也要过几天以后才会去更新。如果持续不断地抓取您的网站,请注意您的网站上的网页是否每次访问都产生新的链接。

如果您认为 sogou spider 对于您的网站抓取过快,请与我们联系,并最好能提供访问日志中sogou spider 访问的部分,而不要直接将搜狗spider的ua封禁。
您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

Archiver|手机版|大川乒乓网|中文搜索引擎指南网(搜网) ( 鲁ICP备16006309号

GMT+8, 2019-7-16 19:22 , Processed in 0.125723 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表