标签存档: User-agent

常见user-agent 搜索引擎爬虫蜘蛛user-agent统计表[to-delete]

常见user-agent_搜索引擎se_user-agent统计表_path8.net
常见user-agent_搜索引擎se_user-agent统计表_path8.net

user agent 中 PostRank/2.0 (postrank.com; 1 subscribers)是什么

在网站日志中有user agent里发现PostRank/2.0 (postrank.com; 1 subscribers)的记录,经搜索得知PostRank的简介,录于下
PostRank简介:
PostRank的前身是AideRss,是一个知名的RSS分析工具,通过给每篇文章计算Rank值来评价文章的重要性,对订阅的RSS Feed进行过滤,并输出一个新的RSS,有效的解决信息过量的问题。
它对于文章Rank值得重新计算,主要包括:
阅读全文——共264字

User Agent里Mediapartners-Google是什么浏览器/客户端

在网站访问日志里,看到Mediapartners-Google,搜索一下,原来是Google Adsense的漫游器
Mediapartners-Google
Mediapartners-Google 抓取网页中的文字内容,用于 Google Adsense 分析关键词。只有投放了 Google Adsense 网页才会被 Mediapartners-Google 探测器爬取。
Adsbot-Google 抓取网页中的文字内容,用于为 Google AdWords 提供参考。只有 Google AdWords  目标网页才会被 Adsbot-Google 探测器爬取。
阅读全文——共559字

使用User-Agent伪造浏览器,谎称身份欺骗服务器/IE,FireFox,Opera,Maxthon,Chrome,Safari,iPhone

关于User-Agent,在此不多说,假定您已经熟悉http协议尤其是User-Agent,如果需要了解更多,请查看以下
User-agent 字串(客户端操作系统浏览器识别)
更多User-Agent资料
常见的浏览器伪造User-agent方法
阅读全文——共2475字

User-Agent简介及应用

在http协议里,头信息中有一个 User-Agent,它的作用是告诉服务器,用户客户端是什么浏览器,以及操作系统的信息的。在某些特殊的情况下,服务器根据浏览器的不同类型,输出不 同的内容。大概在三四年前,很多网站都只显示给IE看,所以当时的 opera 浏览器还特别做了一个功能,可以把它的 User-Agent 换成 IE 的。所以 user-agent 是非常不可靠的,原因就是它是客户端自己决定并发送给服务器。
有一种SEO的技术,就是判断 user-agent,如果是搜索引擎的爬虫,就把内容显示出来,否则的话,只显示给付费用户。所以有的网站能够被Google搜索到,点击链接进去以后 却显示“未注册”、“还不是会员”。解决的办法,Firefox有个插件叫做 Agent-switcher,它可以自动替换 http 请求里的 user-agent 头的内容。 [插件下载:https://addons.mozilla.org/en-US/firefox/addon/59/]
阅读全文——共2302字

修改伪造的IE user-Agent/Changing IE Agent Strings

Changing IE Agent Strings
Like many people that have web pages, I check my referrer logs regularly.
You can see all kinds of information about who is visiting, even what web browser
they are using to look at your page. Here is an example below.
阅读全文——共1806字

User-agent 字串史(客户端操作系统浏览器识别)

较古的浏览器
1993年,NCSA 发布了首款 web 浏览器 Mosaic。它的 user-agent 字串非常简洁:
Mosaic/0.9
虽然当时由于它对操作系统和平台的依赖性,但是基本格式还是很简单明了。在文本中,斜杠前面是产品名称(可能会显示为 NCSA Mosaic 或是其他类似的字),斜杠后面是产品版本号。
阅读全文——共6087字