到老叟首页

您查询的关键词仅在网页标题或指向此网页的链接中出现。

(老叟和网页http://www.webym.net/jiaocheng/1114.html的作者无关，不对其内容负责。老叟快照谨为网络故障时之索引，不代表被搜索网站的即时页面。)

UTF-8 MJ12bot是什么蜘蛛，我们如何屏蔽它-网有卖
现在的位置: 网页制作教程 ＞ 网站优化 ＞正文
seo教程

MJ12bot是什么蜘蛛，我们如何屏蔽它

发表于2020/10/16 D 网站优化 D 0条评论 D 热度 4,604℃

查看网站日志，发现有一个爬虫MJ12bot在高频率地爬取我的网站，耗费了网站大量的资源，webym.net就曾中过招，那么MJ12bot到底是什么蜘蛛，我们又该如何屏蔽它呢？

MJ12bot是什么蜘蛛

MJ12bot是英国的一家老牌的搜索引擎营销网站Majestic的爬虫，他有专门的中文站，对外链查询等很多SEO数据查询提供数据支撑，做过外链的都知道，获取外链资源是一项基本能力，这个网站可以查询网站的外链资源数。MJ12bot是Majestic-12分布式搜索引擎的爬虫。

中文网站是：zh.majestic.com

爬虫蜘蛛

我们如何屏蔽MJ12bot蜘蛛

MJ12bot遵循robots.txt标准，如果需要屏蔽他，直接在 robots.txt 添加以下代码;

User-agent: MJ12bot
Disallow: /
声明:如需转载，请注明来源于www.webym.net并保留原文链接：http://www.webym.net/jiaocheng/1114.html
【上篇】已经是最后一篇教程
【下篇】

您可能还会对这些文章感兴趣！

  1. 如何禁止百度对你的网站转码
  2. 如何查询百度收录了网站子目录的哪些页面
  3. 阿里云CDN缓存命中率不高的分析和解决办法
  4. 没有爬行入口是如何被百度蜘蛛抓取的
  5. 随机数据在seo优化中的优点和缺点
  6. 如何通过网站日志查看百度蜘蛛抓取情况
  7. 怎么让新网站快速被搜索引擎收录？
  8. 搜索引擎工作原理是什么？
    SEO优化：移动站和PC站如何互相指向的适配标签
    微软的bing爬虫MSNBot频繁爬取的解决办法
    阿里云：Header头中X-Swift-SaveTime、X-Swift-CacheTime和Age代表什么意思？
    分析PV、UV、IP三者之间的区别与联系
  • 暂无评论

返回首页

国内领先的网站源码下载与网页制作教程分享中心。　网站地图

Copyright� 2010-2022　网有卖 www.webym.net　保留所有权利. 苏ICP备16037062号-3
Powered by 老叟