零基础建站培训介绍

当前位置:

htaccess屏蔽垃圾蜘蛛恶意抓取方法(附代码)

网站做成之后,会有很多的蜘蛛爬行和抓取网站内容,其中就有大量垃圾蜘蛛,它们会不停的抓取网站的内容,但不会给我们网站带来任意流量,这时,我们就可以把这些垃圾蜘蛛屏蔽掉。

下面是通过htaccess屏蔽垃圾蜘蛛恶意抓取方法和代码:


RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} "^$|^-$|MSNbot|Webdup|AcoonBot|SemrushBot|CrawlDaddy|DotBot|Applebot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|DingTalkBot|DuckDuckBot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Barkrowler|SeznamBot|Jorgee|CCBot|SWEBot|PetalBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|EasouSpider|YYSpider|python-requests|oBot|MauiBot" [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

将常见的垃圾蜘蛛名称都加进去,然后把这些代码放到htaccess里,就可以屏蔽垃圾蜘蛛的爬行了。

上一课: 下一课:

发表评论

邮箱地址不会被公开。 必填项已用*标注

相关教程

  • 建网站时,为了实现某项功能,需要使用PHP来判断某个字符串中是否包含另一个字符串,然后通过判断结果来实现做网站过程中的某些功能。php判断字符串
  • 什么是盗链建网站用户经常面对的一个问题就是服务器的流量问题,而站点文件被盗链是其中特别为主要的部分。所谓盗链,是指其他网站直接链接我们网站
  • 自学IT,做了一个简单实用的设计网址导航,叫做 IT宝盒,内容涵盖设计资源、设计教程、特效代码等,旨在让任意一个设计师都能轻松找到自己想要的资源
  • DISCUZ论坛搬家经常出现一个问题,就是搬家后,DISCUZ论坛管理员账号无法登录,但普通会员却可以登录。遇到这种问题,有二种解决方法。一种是找到问
  • 由于Zblog博客程序本身没有直接生成sitemap网站地图的功能,所以要实现网站地图,以利于SEO和搜索引擎收录,就必须想办法生成这个文件,那么Zblog博客站点
  • ks001快速建站第三步:安装wordpress模板改变网站版面就靠模板我们要建一个企业网站------安装一个企业网站模板门户网站----------安装一个门户网
  • 商城网站怎么发布商品 (13099 次学习)
    视频密码: wangzhanxue
  • 网站专题页怎么做 (12 次学习)
    要想做好网站专题,首先就必须有好的题材,如果题材不能吸引人的话,无论如何做,即使页面再精美,策划再到位,也都会无济于事。所以,网站专题有好
  • 怎么做公司网站 (11 次学习)
    可以交由办公室负责具体的事情,办公室可以和相应的电迅公司进行接洽,就网站设计和相关的运行费用进行交涉。公司的网站要有一些具体的分类,一般来
  • 网站ROBOTS文件怎么写 (13055 次学习)
    作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。写法允许抓取所有页面User-agent: *Disallow: 不允许抓取所有页面U