学做网站培训课程介绍

当前位置:

robots文件写法与作用

以下为学做网站论坛关于“robots文件写法与作用”讲解视频教程。

更多SEO优化实战课程:https://www.xuewangzhan.net/vip/forum.php?gid=88

什么是robots文件

robots文件是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt 文件写法与作用

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt的作用

robots文件在SEO教程中很重要,通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。

当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt的写法

允许抓取所有页面

User-agent: *
Disallow:

不允许抓取所有页面

User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录

User-agent: *
Disallow:/*?*
Disallow:/vip/

更多ROBOTS文件的写法:https://www.xuewangzhan.net/zichu/483.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

相关教程

  • wp-log-robots插件介绍:蜘蛛访问日志插件wp-log-robots是一款记录搜索引擎蜘蛛在你的网站上的访问日志的wordpress必备插件之一。wp-log-robo
  • robots文件写法与作用 视频教程 (128861 次浏览)
    更多SEO优化实战课程:https://www.xuewangzhan.net/vip/forum.php?gid=88什么是robots文件robots文件是一个协议,而不是一个命令。robots.txt是
  • template/default/common 模板公共文件夹,全局相关|--block_forumtree.htm 树形论坛版块分支js文件|--block_thread.htm 特殊主题的风格模块文
  • 在我们学做网站的过程中,通过图片的后缀名我们很轻松的了解图片是什么格式的,想要替换的时候,很就简单了。但有的同学的电脑里的图片等文件并没
  • nofollow标签写法与作用 视频教程 (128254 次浏览)
    什么是nofollow标签nofollow 是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎蜘蛛 "不要追踪此网页上的链接或不要追踪此特定链接" 。
  • 很多学做网站论坛学员第一次购买了新的网站空间后,使用FTP软件连接网站空间时,会发现空间里有三个文件夹,分别是DB,LOG,WEB。很多同学不明白这三
  • 万网是国内空间最大供应商,它的特点是价格高,但稳定。对于做企业网站的学员来说,可以选择万网的空间。刚购买了万网的空间,会有以下几个文件夹,它