怎样能够减少搜索引擎对我的站点发出的请求？

http://www.sowang.com 2006年7月17日

由于雅虎搜索从整个因特网上抓取数以百亿计的网页，对于网络抓取我们采取大量系统，因此，您的网络服务器会从不同的YST抓取程序的客户端IP地址登录请求。不同的抓取程序系统彼此配合，来限制任何来自单一网络服务器的活动。所谓单一网络服务器，是由IP地址判断的。因此，如果您的服务器主机拥有多个IP，它的活动则会处于更高的级别。

在robots.txt 里，YST有一个特定的扩展名，可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序两次进入站点时，以秒为单位的最低延时。如果crawler频率对您的服务器是一个负担，您可以将这个延时设定为任何您认为恰当的数字，例如60或300。

例如，您想设定一个20秒的延时，语句如下：

User-agent: Slurp
Crawl-delay: 20
　