请选择 进入手机版 | 继续访问电脑版

搜索爱好者

 找回密码
 注册会员

QQ登录

只需一步,快速开始

查看: 5195|回复: 0

如何识别百度蜘蛛

[复制链接]
发表于 2015-1-5 21:15:44 | 显示全部楼层 |阅读模式
百度蜘蛛对于站长来说可谓上宾,可是我们曾经遇到站长这样提问:我们如何判断疯狂抓我们网站内容的蜘蛛是不是百度的?其实站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:




1、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com
*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。





2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来
判断是否来自Baiduspider的抓取。打开命令处理器
输入nslookup xxx.xxx.xxx.xxx(IP地
址)就能解析ip,
来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com
*.baidu.jp
的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。




3、 在mac os平台下,您可以使用dig 命令反解ip来
判断是否来自Baiduspider的抓取。打开命令处理器
输入dig xxx.xxx.xxx.xxx(IP地
址)就能解析ip,
来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com
*.baidu.jp
的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
您需要登录后才可以回帖 登录 | 注册会员

本版积分规则

Archiver|手机版|大川乒乓网|中文搜索引擎指南网(搜网) ( 鲁ICP备16006309号

GMT+8, 2017-11-20 03:53 , Processed in 0.100013 second(s), 28 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表