零基础建站培训介绍

当前位置：

htaccess屏蔽垃圾蜘蛛恶意抓取方法（附代码）

网站做成之后，会有很多的蜘蛛爬行和抓取网站内容，其中就有大量垃圾蜘蛛，它们会不停的抓取网站的内容，但不会给我们网站带来任意流量，这时，我们就可以把这些垃圾蜘蛛屏蔽掉。

下面是通过htaccess屏蔽垃圾蜘蛛恶意抓取方法和代码：



RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} "^$|^-$|MSNbot|Webdup|AcoonBot|SemrushBot|CrawlDaddy|DotBot|Applebot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|DingTalkBot|DuckDuckBot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Barkrowler|SeznamBot|Jorgee|CCBot|SWEBot|PetalBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|EasouSpider|YYSpider|python-requests|oBot|MauiBot" [NC]

RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

将常见的垃圾蜘蛛名称都加进去，然后把这些代码放到htaccess里，就可以屏蔽垃圾蜘蛛的爬行了。

上一课: 下一课:

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

相关教程

  • 如何禁用浏览器缓存调试网站 (4478 次浏览)
    我们修改网站时，经常会遇到这样的问题，就是当我们修改了某个文件后，打开网站却仍然是旧的内容，这就是由于浏览器缓存造成的。通常的方法就是去清除
  • 企业建网站怎样选择一个建站公司 (4541 次浏览)
    不论是到用搜索引擎搜索“建网站”这类的词，或者是搜索“建站公司哪家靠谱”这类的问题，大部分内容都是用类似“简单”“快速”“便宜”“省心”类似的词来自我标
  • 免费阿里云SSL证书怎么申请和部署 (4479 次浏览)
    https相比于http更加安全，现已被越来越多的网站和搜索引擎青睐，但是https的SSL证书使用费用高昂，且每年都要续费，因此很多中小企业的网站就只能望
  • 做网站基本费用大概需要多少钱 (4461 次浏览)
    做网站基本费用大概需要多少钱？网站的基本费用主要包括网站域名、网站主机、网站代码三个部分 ？如果你对网站没有特别的设计要求，利用一些开源建站
  • 如何统计网站日访问量 (5449 次浏览)
    我们自己建立网站，网站上线之后，如果想查看并统计网站的日访问量，应该如何操作呢？一般统计网站访问量，可以添加第三方网站统计代码，可以去百度
  • 做网站服务器选什么系统更好 (4510 次浏览)
    做网站服务器选什么系统更好呢？是windows还是linux操作系统呢？其实不同的系统之间的差距并不是很大，但是不同的系统对于不同的建站语言的友好程序是
  • 淘宝客怎么做网站，淘宝客制作方法 (4520 次浏览)
    现在仍然有很多人想做淘宝客，做淘宝客之前需要自己建一个淘宝客网站，那么怎么做一个淘宝客网站呢？下面介绍一下淘宝客网站制作方法。首先，注册一
  • 做网站前期成本是多少 (4192 次浏览)
    很多企业甚至个人想进入互联网行业，因为看到网络盈利太简单了，那么进入互联网的首要门槛就是做个网站，很多人认为做个网站肯定非常昂贵，那么做网站
  • WordPress网站引用外部图片不显示的解决方法 (5274 次浏览)
    使用WordPress做网站，我们时常会引用外站图片，经常会遇到这样的问题，刚开始图片是正常的，但一段时间后，引用的外部图片不显示了，这是怎么回事呢
  • 独立ip和共享ip对于做网站有什么不同 (5849 次浏览)
    独立ip和共享ip对于做网站有什么不同呢？我们自己做网站时，是要选择独立IP还是共享IP呢？下面来分析一下独立ip和共享ip它们的优缺点。1、独立的ip好

教程目录