零基础建站培训介绍

当前位置:

网站ROBOTS文件怎么写

作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。

写法

允许抓取所有页面


User-agent: *
Disallow:

不允许抓取所有页面


User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录


User-agent: *
Disallow:/*?*
Disallow:/vip/
上一课: 下一课:

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关教程

  • 问题:请问一下,我买了一台服务器,现在正在配置服务器环境,现在不太清楚配置服务器环境时,nginx与apache需要同时安装吗?还是说安装一个就可以了
  • 我们制作手机网站时,手机网站的菜单中有二级菜单时,用户点击含有二级菜单的导航应该先展开二级菜单,再点击时才跳转到链接地址。实现这种效果需要对
  • 做网站的时候采用什么格式的图片一般是困扰建网站新手的一个问题。网页图片基本格式包括gif、jpg、png这三种,具体应该使用什么格式没有固定统一的要
  • 合肥做网站需要准备以下资料:第一,收集能够体现企业网站信任度的资料。对于企业网站来说,必须要有企业的资质内容,比如有关企业的注册证书,资质
  • 在WordPress建网站时,会使用wp_nav_menu函数来调用网站后台导航菜单,会生成一个无序列表。如下面的代码:<ul><li><a href="
  • 我们知道,如果我们做网站选择使用国内空间,就需要备案。对于很多新手来说,网站备案很多东西不太了解,例如:网站备案需要哪些东西,备案时间要多长
  • 在今日头条上引流,很多人又会说,不会写文章,所以做了不引流,那么今天我教大家一招,无需写文章,一样可以引流一万,不要写文章?相信对大家来说够
  • 做网站开发要学什么 (12978 次学习)
    做网站开发需要学习下面几个知识:1.至少要会一种开发语言,如Java、php等。2.学习数据库,比如简单的Mysql。3.学习并掌握java等语言和数据库的结
  • 我公司的业务人员再向其讲解网站制作流程,客户还是坚持自己的想法,怕交了钱做不好。在此观止网络郑重申一点:做网站定金是一定要交的,不给定金绝
  • ASP现在很少用了,但在某些ASP程序网站里,还需要设置一些功能。例如设置ASP定时器,通过定时实现网站设置定时切换功能。ASP定时代码:<%Dim