零基础建站培训介绍

当前位置:

htaccess屏蔽垃圾蜘蛛恶意抓取方法(附代码)

网站做成之后,会有很多的蜘蛛爬行和抓取网站内容,其中就有大量垃圾蜘蛛,它们会不停的抓取网站的内容,但不会给我们网站带来任意流量,这时,我们就可以把这些垃圾蜘蛛屏蔽掉。

下面是通过htaccess屏蔽垃圾蜘蛛恶意抓取方法和代码:


RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} "^$|^-$|MSNbot|Webdup|AcoonBot|SemrushBot|CrawlDaddy|DotBot|Applebot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|DingTalkBot|DuckDuckBot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Barkrowler|SeznamBot|Jorgee|CCBot|SWEBot|PetalBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|EasouSpider|YYSpider|python-requests|oBot|MauiBot" [NC]
RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

将常见的垃圾蜘蛛名称都加进去,然后把这些代码放到htaccess里,就可以屏蔽垃圾蜘蛛的爬行了。

上一课: 下一课:

发表评论

邮箱地址不会被公开。 必填项已用*标注

相关教程

  • 网站做成之后,会有很多的蜘蛛爬行和抓取网站内容,其中就有大量垃圾蜘蛛,它们会不停的抓取网站的内容,但不会给我们网站带来任意流量,这时,我们就
  • 学习了零基础建站教程,网站制作好之后,有些人会恶意去攻击我们的网站,特别是个人网站制作,经常受到攻击,致使网站打不开。这时的解决方法就是去屏
  • 有时候,因为内容的更改或者隐私问题,我们往往不希望别人通过“百度快照”的方法查看自己网站的某一些网页,这里提供了一段让百度快照失效的代码。
  • 网站制作好后,某些特殊原因,我们想让网站的某些页面进行特殊的跳转,例如如果是百度或者谷歌的搜索引擎蜘蛛就进行跳转到指定网页。这种跳转可以通过
  • PHP判断控制搜索引擎蜘蛛与普通用户看到的内容不一样。如果只想判断百度蜘蛛,就可以使用以下的代码:[cce_php]if (ereg("http://www.baidu.c
  • 做网站时,避免不了网站上有大量的图片。网站上的图片显示就需要使用img图片标签。HTML img图片标签写法[cce_html]<img src="图片地址" alt=
  • 在网站制作过程中经常需要使用到让div进行水平和垂直居中的技术。现在我们就来谈谈如何实现让div水平和垂直居中。Div标签水平居中方法Div
  • 通常所说的META标签,是在HTML网页源代码中一个重要的html标签。META标签用来描述一个HTML网页文档的属性,例如作者、日期和时间、网页描述、关键词、
  • 在前面的HTML入门教程中,我们介绍了什么是超链接。对于建网站新手来说,很多人不知道超链接有很多的写法。以下就是超链接常见的几个写法。显
  • HTML表单的代码写法 (15350 次浏览)
    HTML表单在我们做网站中经常会被用到,如用户注册,网站投稿,评论等都会使用到表单。下面分享一下HTML表单的代码写法。(相关教程:网站Form表单实现
  • 特效介绍:jQuery带横向滚动条头部固定表格代码是一款jquery easyui实现的自定义表格样式代码。特效截图:特效适用:适用浏览器:IE8