| Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) | 32032 |
| Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) | 28638 |
| Yandex/1.01.001 (compatible; Win16; I) | 5136 |
| Mediapartners-Google | 5063 |
| Baiduspider+(+http://www.baidu.com/search/spider.htm) | 4871 |
| Sosospider+(+http://help.soso.com/webspider.htm) | 2462 |
| Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ) | 1899 |
| Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) | 1612 |
| Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 | 1152 |
| Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html) |
这是一段时间内几个对本站抓取量最大的搜索引擎蜘蛛的user_agent及抓取次数，可以参考
有道蜘蛛很猛，比排名第一的google小一些（10%），把后面几个远远落下，是号称全球最大的百度的5倍还多。当然只是对一个站的抓取，没有太大的代表性，仅供参考。
0 条评论。