mj12bot是什么? 半个小时爬取800多,禁止蜘蛛MJ12bot抓取网站信息

  • 时间:
  • 浏览:141
  • 来源:无双科技

打开网站突然看到新增蜘蛛爬虫900多,事出异常必有妖,查看分类,发现出现大量不知名爬虫

MJ12bot蜘蛛爬虫

具体爬虫userAgent:mozilla/5.0 (compatible; mj12bot/v1.4.8; http://mj12bot.com/) IP地址:50.110.90.139

查阅资料显示 MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫MJ12bot是Majestic-12分布式搜索引擎的爬虫),他有专门的中文站,对外链查询等很多SEO数据查询提供数据支撑,做过外链的都知道,获取外链资源是一项基本能力,这个网站可以查询网站的外链资源数,不过很多公司看到日志里有这个MJ12bot蜘蛛,中文是选择直接屏蔽掉,爬行相当耗费资源,且对国内用户不提供服务。

如果你不想此蜘蛛访问可以直接在robots.txt添加规则,限制mj12bot 爬取网站,禁止这些无用的蜘蛛如MJ12bot等抓取网站信息

User-agent: MJ12bot

Disallow: /

猜你喜欢

当天24小时内蜘蛛抓取分析工具(百度、谷歌、360、搜狗、必应、神马、头条)

当天24小时内蜘蛛抓取分析工具(百度、谷歌、360、搜狗、必应、神马、头条)

蜘蛛爬行痕迹记录工具介绍: 后台可以查看各大搜索蜘蛛爬行的详细信息(最后来访时间,ip地址,被访地址),根据访问频率查看异常伪造蜘蛛进行屏蔽处理,减轻服务器压力。蜘蛛

2020-07-10

简单PHP微信文章采集并下载图片上传保存到七牛云

简单PHP微信文章采集并下载图片上传保存到七牛云

通过搜狗搜索采集公众号历史消息,在浏览器中打开要采集的文章链接地址。具体的执行方法如下:publicfunctionwxcaiji(){   &n

2020-07-10

微信采集微信图片下载PHP采集文章

百度竞价搜索推广怎么找到ip和屏蔽

百度竞价搜索推广怎么找到ip和屏蔽

在正常推广的时候,经常会早到恶意点击,虽然百度有机制不算到计费系统内,但还是会给客服接待人员造成大量困扰,为减少推广的成本,可以屏蔽一些恶意的点击IP,是最理智的选择,不过在国

2020-07-01

View UI(iView) Upload 自定义多图上传列表提交

View UI(iView) Upload 自定义多图上传列表提交

iViewUpload自定义多图上传列表提交可以自由控制上传列表,完成各种业务逻辑,示例是一个照片墙,可以查看大图和删除。设置属性 show-upload-list&

2020-06-29

iViewUpload上传

页面顶部空白行,源码显示&#65279解决方法

页面顶部空白行,源码显示&#65279解决方法

最近在做一个项目的时候,好几个页面都出现顶部莫名多出一定高度的空白,查看自己写的样式又没有添加这样的样式。查看源码后模板文件生成html文件之后会在body开头处加入一个可见的

2020-06-08