几个主要搜索引擎的user_agent及抓取频率

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 32032
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 28638
Yandex/1.01.001 (compatible; Win16; I) 5136
Mediapartners-Google 5063
Baiduspider+(+http://www.baidu.com/search/spider.htm) 4871
Sosospider+(+http://help.soso.com/webspider.htm) 2462
Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ) 1899
Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) 1612
Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 1152
Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)

这是一段时间内几个对本站抓取量最大的搜索引擎蜘蛛的user_agent及抓取次数,可以参考
有道蜘蛛很猛,比排名第一的google小一些(10%),把后面几个远远落下,是号称全球最大的百度的5倍还多。当然只是对一个站的抓取,没有太大的代表性,仅供参考。




coded by nessus
发表评论?

0 条评论。

发表评论