学做网站培训课程介绍

当前位置：

robots文件写法与作用

以下为学做网站论坛关于“robots文件写法与作用”讲解视频教程。

更多SEO优化实战课程：https://www.xuewangzhan.net/vip/forum.php?gid=88

什么是robots文件

robots文件是一个协议，而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt 文件写法与作用

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt的作用

robots文件在SEO教程中很重要，通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。

当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt的写法

允许抓取所有页面

User-agent: *
Disallow:

不允许抓取所有页面

User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录

User-agent: *
Disallow:/*?*
Disallow:/vip/

更多ROBOTS文件的写法：https://www.xuewangzhan.net/zichu/483.html

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

相关教程

  • 什么是robots协议 视频教程 (1186613 次浏览)
    什么是robots协议？robots文件简单的来说就是给你的网站做一个权限清单，一般是针对做SEO优化的。在这个文件里面写上哪些文件、哪些形式的链接允许
  • WordPress搜索引擎蜘蛛访问日志插件wp-log-robots 图文教程附件下载 (119426 次浏览)
    wp-log-robots插件介绍：蜘蛛访问日志插件wp-log-robots是一款记录搜索引擎蜘蛛在你的网站上的访问日志的wordpress必备插件之一。wp-log-robo
  • 什么是网页源代码、源文件 视频教程 (1195368 次浏览)
    什么是源代码源代码就是指在网页制作过程中需要用到的一些特殊的“语言”，设计人员通过对这些“语言”进行组织编排制作出网页，然后由浏览器对代码进
  • 什么是文件后缀名 视频教程 (1188333 次浏览)
    什么是文件后缀名文件扩展名 是操作系统用来标志文件格式的一种机制。通常来说，一个扩展名是跟在文件名后面的，由一个分隔符分隔。在一个像“read
  • nofollow标签写法与作用 视频教程 (128772 次浏览)
    什么是nofollow标签nofollow 是一个HTML标签的属性值。这个标签的意义是告诉搜索引擎蜘蛛 "不要追踪此网页上的链接或不要追踪此特定链接" 。
  • robots文件写法与作用 视频教程 (129327 次浏览)
    更多SEO优化实战课程：https://www.xuewangzhan.net/vip/forum.php?gid=88什么是robots文件robots文件是一个协议，而不是一个命令。robots.txt是
  • 网站空间DB、LOG、WEB三个文件夹作用各是什么 图文教程 (136536 次浏览)
    很多学做网站论坛学员第一次购买了新的网站空间后，使用FTP软件连接网站空间时，会发现空间里有三个文件夹，分别是DB，LOG，WEB。很多同学不明白这三
  • 阿里云虚拟主机文件夹有什么作用 (127789 次浏览)
    万网是国内空间最大供应商，它的特点是价格高，但稳定。对于做企业网站的学员来说，可以选择万网的空间。刚购买了万网的空间，会有以下几个文件夹，它

相关教程

其它教程