各大中文网站蜘蛛userAgent及IP段

时间:2020-05-28
浏览:3336
来源:无双科技

User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

了解各大搜索引擎蜘蛛爬虫的UA，对我们进行某些程序编写十分有用，例如网页判断客户端来源时，UA是常用的标准之一。

百度蜘蛛Baiduspider

Baiduspider有Baiduspider-image（专门用以抓取图片的蜘蛛）
Baiduspider-mobile（抓取wap）
Baiduspider-video（抓取视频）
Baiduspider-news（抓取新闻）

Baiduspider userAgent：

PC： Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动：
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X)
AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎，在windows平台或者IBM OS/2平台下，您可以使用nslookup ip命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析ip，来判断是否来自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。

谷歌蜘蛛Googlebot UserAgent：

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google图片搜索：Googlebot-Image/1.0

Google蜘蛛IP地址

216.239.33.*，216.239.35.*，216.239.37.*，216.239.39.*，216.239.51.*，216.239.53.*，216.239.55.*，216.239.57.*，216.239.59.*，64.233.161.*，64.233.189.*，66.102.11.*，66.102.7.*，66.102.9.*，66.249.64.*，66.249.65.*，66.249.66.*，66.249.71.*，66.249.72.*，72.14.207.*

谷歌蜘蛛IP段解析

202.101.43.*、222.73.247.*、66.249.65.*这三个ip段是最为常规出现的

66.249.16.*出现的站点均为新站或站点出现无法访问情况后再次出现的ip段

210.72.225.*这个ip段不间断巡逻各站

203.208.60.*这个ip段出现在新站及站点有不正常现象后

必应蜘蛛bingbot UserAgent：

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

搜狗蜘蛛Sogou News Spider UserAgent：

搜狗图片:
http://pic.sogou.com
Sogou Pic Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜狗
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)

搜狗蜘蛛IP段

123.126.113.79-123.126.113.191，220.181.89.190，220.181.89.189，218.30.103.155，61.135.189.75，220.181.94.228，61.135.189.74，220.181.89.157，220.181.89.165，220.181.89.183，220.181.89.194，218.30.103.80

360蜘蛛 360Spider UserAgent：

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider

Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

360网站安全检测：360spider (http://webscan.360.cn)

360搜索蜘蛛暂时不支持nslookup命令的查询，因此建议大家结合以下面本页提供的IP段信息进行比对，以确认是否为360搜索的蜘蛛。以下为360搜索的蜘蛛IP段：

180.153.232.*, 180.153.234.*, 180.153.236.*, 180.163.220.*, 42.236.101.*, 42.236.102.*, 42.236.103.*, 42.236.10.*, 42.236.12.*, 42.236.13.*, 42.236.14.*, 42.236.15.*, 42.236.16.*, 42.236.17.*, 42.236.46.*

42.236.48.*, 42.236.49.*, 42.236.50.*, 42.236.51.*, 42.236.52.*, 42.236.53.*, 42.236.54.*, 42.236.55.*, 42.236.99.*

更多360蜘蛛IP列表可参考https://www.so.com/help/spider_ip.html