全球最大中文网页搜索、MP3免费下载、图片搜索、新闻搜索平台

 

 

·收藏本站
·网站推广
·搜索论坛

   首 页 - 搜索引擎目录 - 搜索入门到精通 - 中国网址之家 - 搜索引擎营销 - 企业网站推广指南

    

雅虎是如何抓取我的网站的?

  http://www.sowang.com   2006年7月17日


    雅虎应用雅虎搜索引擎技术(Yahoo! Search Engine Technology,简称YST),它是一套基于算法的Web索引抓取程序,能够自动探测网络内容。YST 这套机器搜索程序从因特网上采集文档,建立起一个可搜索的索引系统。这些文件(即您的网站文件)能被YST程序发现和抓取的主要原因是,在因特网其他的网页上包含有这些文档的直接链接。

    YST 搜索程序严格遵守robots.txt标准执行抓取,因此,对于那些您不希望被雅虎搜索引擎返回的结果,搜索程序不会执行抓取。任何被robots.txt标准认为不适宜抓取的文件,既不会被包括在抓取文档中,也不会进入到搜索引擎的数据库。
 


Copyright © 2006 SoWang.com.All Rights Reserved
中文搜索引擎指南网
 版权所有