<source id="kyzu5"></source>

      <cite id="kyzu5"></cite>

      1. <tt id="kyzu5"></tt>
        2017年最新百度谷歌360等搜索引擎蜘蛛名稱及搜索引擎蜘蛛真假判斷
        搜收錄網整理 發布日期:2016/12/31 10:21:46
        1、百度蜘蛛:Baiduspider
        網上的資料百度蜘蛛名稱有BaiduSpider、baiduspider等,這些名稱都不是太準確。網頁抓取百度蜘蛛最新名稱為Baiduspider,是用百度來抓取網頁的蜘蛛。圖片抓取百度蜘蛛準確名稱為Baiduspider-image,是用來抓取圖片的蜘蛛。
        常見的百度蜘蛛還有移動網頁抓取蜘蛛Baiduspider-mobile(抓取wap)、百度視頻抓取蜘蛛Baiduspider-video(抓取視頻)、百度新聞抓取蜘蛛Baiduspider-news(抓取新聞)。
        如何判斷百度蜘蛛真假
        使用DNS反查方式可以確定抓取來源的ip是否屬于百度,根據平臺不同驗證方法也有所不同:
            
        在linux平臺下,您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
        $ host 123.125.66.120 
        120.66.125.123.in-addr.arpa domain name pointer 
        baiduspider-123-125-66-120.crawl.baidu.com.
         
        host 119.63.195.254
        254.195.63.119.in-addr.arpa domain name pointer 
        BaiduMobaider-119-63-195-254.crawl.baidu.jp.
         
        在windows平臺或者IBM OS/2平臺下,您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
         
        在mac os平臺下,您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 來判斷是否來自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即為冒充。
         
        2、谷歌蜘蛛:Googlebot
        谷歌網頁抓取蜘蛛最新名稱為“compatible; Googlebot/2.1;”。谷歌移動網頁抓取蜘蛛名稱為Googlebot-Mobile,看名字是抓取wap內容的。
         
        3、360蜘蛛:
        360搜索網頁抓取蜘蛛最新名稱為360Spider或HaosouSpider。
         
        4、搜狗蜘蛛:Sogou+web+spider/4.0
        搜狗網頁抓取蜘蛛最新名稱為Sogou+web+spider/4.0,搜狗蜘蛛還包括如下這些:Sogou+inst+spider、Sogou+spider2、Sogou+blog、Sogou+News+Spider、Sogou+Orion+spider,
         
        搜狗最常見蜘蛛為"Sogou+web+spider/4.0" ;"Sogou+News+Spider/4.0" ;"Sogou+inst+spider/4.0"。
         
        5、必應蜘蛛:bingbot 
        必應網頁抓取蜘蛛最新名稱為(compatible; bingbot/2.0;)
         
        6、一搜蜘蛛:YisouSpider
        一搜網頁抓取蜘蛛最新名稱為YisouSpider,同時Yisouspider也是神馬搜索的網頁爬蟲,同時也在為CNZZ云推薦提供服務。
         
        7、神馬蜘蛛:YisouSpider
        神馬網頁抓取蜘蛛最新名稱為YisouSpider

        信息網址:http://www.zypx6.com/ziyuan/view15945.htm
        相關信息
        成人视频免费在线观看