DotBot是什么蜘蛛爬虫?

  |   2019年1月13日 |  爬虫相关 |   评论已关闭 |   799

DotBot是由Moz的蜘蛛爬虫抓取的,如果不想让它来抓取的话,可以用robots文件禁止抓取。

Moz是什么网站?

Moz是来自美国的一个大发棋牌牛牛软件 开发大发棋牌牛牛公司 ,由Rand Fishkin和Gillian Muessig创立于2004年,现总部位于华盛顿州西雅图市。起初,该大发棋牌牛牛公司 是一个咨询大发棋牌牛牛公司 ,于2010年转型为大发棋牌牛牛软件 开发大发棋牌牛牛公司 ,其官方网站上有一个在线社区和一些与营销有关的大发棋牌牛牛工具 。此外,在大发棋牌牛牛SEO 大发棋牌牛牛工具 箱这页中还有包括术语提取器(Term Extractor)等在内的多个大发棋牌牛牛SEO 大发棋牌牛牛工具 。

 

具体可以看本篇

http://moz.com/help/moz-procedures/crawlers/dotbot

Moz的Link Index Crawler

Dotbot是Moz的网络爬虫。Dotbot与Rogerbot不同,Rogerbot是Moz Pro Campaigns的网站审计抓取大发棋牌牛牛工具 。大发棋牌牛牛大发棋牌牛牛我 们 通过Dotbot收集的数据在Moz大发棋牌牛牛工具 中显示在此站点上,也可通过大发棋牌牛牛大发棋牌牛牛我 们 的Links API获得。

为什么Moz会抓取网络?

大发棋牌牛牛大发棋牌牛牛我 们 的一些大发棋牌牛牛工具 (如Link Explorer)要求大发棋牌牛牛大发棋牌牛牛我 们 抓取网站。发生这种情况时,用户代理dotbot用于识别大发棋牌牛牛大发棋牌牛牛我 们 的抓取大发棋牌牛牛工具 。请记住,您需要一个Moz Pro帐户才能访问收集的大部分信息。大发棋牌牛牛大发棋牌牛牛我 们 的免费在线营销社区的大发棋牌牛牛成员 访问受限。要查看大发棋牌牛牛大发棋牌牛牛我 们 收集的数据类型的示例,请在Link Explorer的大发棋牌牛牛搜索 框中输入URL 。

如何阻止Dotbot爬行大发棋牌牛牛你 的网站

如果您不希望Dotbot抓取您的网站,大发棋牌牛牛大发棋牌牛牛我 们 始终尊重标准机器人排除协议(aka robots.txt)。如果您想阻止Dotbot,您需要做的就是将大发棋牌牛牛大发棋牌牛牛我 们 的用户代理字符串添加到您的robots.txt文件中。

从您网站的某些区域阻止Dotbot

User-agent: dotbot

Disallow: /admin/

Disallow: /scripts/

Disallow: /images/

从您网站的任何部分阻止Dotbot

User-agent: dotbot

Disallow: /

Slow Dotbot Down

User-agent: dotbot

Crawl-delay: 10

请注意:由于Dotbot抓取网络的方式,您需要一些时间才能使更新的robots.txt文件生效。大发棋牌牛牛大发棋牌牛牛我 们 需要大约两周时间才能完成索引发布,而Dotbot只会在新索引抓取期间第一次遇到该网站时查看您网页的robots.txt文件。这意味着如果它看到它在网站上被允许一次,那么在下次开始全新抓取之前,不会查看对该权限的任何更改。

有任何问题都可以加大发棋牌牛牛我 微信 linwenzhi1314,帮大发棋牌牛牛你 解答,如果大发棋牌牛牛你 觉得写的好,可以下面支持一下
转载请注明出处:
http://jgllcb.com/3749.html

打赏

取消

感谢您的支持,大发棋牌牛牛我 会继续努力的!

扫码支持
扫码打赏,大发棋牌牛牛你 说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦