学做网站培训课程介绍

当前位置:

网站打开慢怎么办?(robots文件降低网络爬虫速度减小压力)

有些站长经常抱怨自己的网站打开速度很慢,用了各种方法都不起效果。也找不到影响网站打开慢的真正原因。对于我们学做网站论坛检测的一部分网站中,有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。

服务器CPU使用率/负载状态达100%,网站打开慢

我们网络爬虫也就是我们SEO课程中讲的搜索引擎蜘蛛,我们网站想要在搜索引擎上有排名,第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛,会肆无忌惮的不停访问我们的网站,这样会给自己的网站服务器增加很大的负担,甚至服务器CPU使用率/负载状态达100%。这时我们需要降低网络爬虫速度减小压力。

降低网络爬虫速度的方法很简单,在robots.txt文件里就可以通过代码来降低速度。


User-agent: *
Crawl-delay: 10
Request-rate: 60/1m
Visit-time: 0000-0800

由于这个还没有完全的标准,两种都用了,Crawl-delay是每秒访问的网页数,而Request-rate是页面数/时间段,可以设置为比较小的值,Visit-time为允许访问的时间段。

当然,我们也可以把一些常见的垃圾蜘蛛屏蔽掉,不让他们来抓取我们的网站。方法见:https://www.xuewangzhan.net/wenti/65988.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

相关教程

  • 我们制作网站前台提交发布界面时,富文本编辑器常常使用kindeditor 编辑器,kindeditor 编辑器支持用户上传图片和附件,通常情况下编辑器是不限制附件
  • notepad是一款比较好用的网页编辑软件,学建站网张启亚老师也一直在用notepad。notepad有一个比较实用的功能就是它会自动保存之前打开的文件列表,但
  • 网站中的滑动选择开关是比较常见的开关选择器,方便用户可以打开或者关闭某个参数。效果如下图:下面分享一下网站中的滑动选择开关的制作代码:HTM
  • 网站打不开怎么办,网站打不开原因比较多,下面介绍几种常见的网站打不开的原因和解决方法。1.先判断本地计算机是否可以正常连接网络,最简单的方法
  • 我们有些同学做的是下载类网站,如果使用普通的A标签来下载,很容易被别采集,这样会严重影响网站的运营。那么怎么隐藏下载地址呢?让资源的下载地址
  • 在https页面中,如果调用了http资源,那么浏览器就会抛出一些错误。我们可以通过一个meta 标签来限制网站调用http资源,自动将http替换成https资源。
  • 现在的网站太多,公司个人都可以制作网站,但是,很多网站目前都是模版建站,下面学建站网介绍一下怎么快速判断某个网站是不是模版建站。首先根据网
  • 线框图又叫原型、框架图,它是做网站设计方案的重要组成部分,是网站策划、项目经理的最后交付文档,通常是最直观、有效的设计呈现形式。第一步:在
  • 网站 XML Sitemap地图可以让搜索引擎更好的爬行收录我们的网站,特别是新网站,需要让搜索引擎收录新的网站页面,那么网站地图是必不可少的了。下面介
  • 说起网站轮播图,大多是左右切换翻动的。少数也有上下翻动效果的。如果想制作上下翻动的网站轮播图需要使用一些JS插件来实现。方法/步骤第一步:下