各大中文网站蜘蛛userAgent及IP段

  • 时间:
  • 浏览:110
  • 来源:无双科技

User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

了解各大搜索引擎蜘蛛爬虫的UA,对我们进行某些程序编写十分有用,例如网页判断客户端来源时,UA是常用的标准之一。

各大中文网站蜘蛛userAgent及IP段

百度蜘蛛Baiduspider

Baiduspider有Baiduspider-image(专门用以抓取图片的蜘蛛)

Baiduspider-mobile(抓取wap)

Baiduspider-video(抓取视频)

Baiduspider-news(抓取新闻)

Baiduspider userAgent:

PC: Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

移动:

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) 

AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎,在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

谷歌蜘蛛Googlebot UserAgent:

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Google图片搜索:Googlebot-Image/1.0

Google蜘蛛IP地址

216.239.33.*,216.239.35.*,216.239.37.*,216.239.39.*,216.239.51.*,216.239.53.*,216.239.55.*,216.239.57.*,216.239.59.*,64.233.161.*,64.233.189.*,66.102.11.*,66.102.7.*,66.102.9.*,66.249.64.*,66.249.65.*,66.249.66.*,66.249.71.*,66.249.72.*,72.14.207.*

谷歌蜘蛛IP段解析

202.101.43.*、222.73.247.*、66.249.65.*这三个ip段是最为常规出现的

66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段

210.72.225.*这个ip段不间断巡逻各站

203.208.60.*这个ip段出现在新站及站点有不正常现象后


必应蜘蛛bingbot UserAgent:

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

搜狗蜘蛛Sogou News Spider UserAgent:

搜狗图片: 

http://pic.sogou.com

Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗

Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗蜘蛛IP段

123.126.113.79-123.126.113.191,220.181.89.190,220.181.89.189,218.30.103.155,61.135.189.75,220.181.94.228,61.135.189.74,220.181.89.157,220.181.89.165,220.181.89.183,220.181.89.194,218.30.103.80

360蜘蛛 360Spider UserAgent:

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

360网站安全检测:360spider (http://webscan.360.cn)

360搜索蜘蛛暂时不支持nslookup命令的查询,因此建议大家结合以下面本页提供的IP段信息进行比对,以确认是否为360搜索的蜘蛛。以下为360搜索的蜘蛛IP段:

      180.153.232.*,      180.153.234.*,      180.153.236.*,      180.163.220.*,      42.236.101.*,      42.236.102.*,      42.236.103.*,      42.236.10.*,      42.236.12.*,      42.236.13.*,      42.236.14.*,      42.236.15.*,      42.236.16.*,      42.236.17.*,      42.236.46.*

      42.236.48.*,      42.236.49.*,      42.236.50.*,      42.236.51.*,      42.236.52.*,      42.236.53.*,      42.236.54.*,      42.236.55.*,      42.236.99.*

更多360蜘蛛IP列表可参考https://www.so.com/help/spider_ip.html

猜你喜欢

PHP反爬虫攻略禁止垃圾蜘蛛爬虫UserAgent频繁访问网站

PHP反爬虫攻略禁止垃圾蜘蛛爬虫UserAgent频繁访问网站

我们都知道网络上的爬虫非常多,有对网站收录有益的,比如百度蜘蛛(Baiduspider),也有不但不遵守robots规则对服务器造成压力,还不能为网站带来流量的无用爬虫,比如宜

2020-06-05

userAgent垃圾蜘蛛PHP反爬虫