零基础学做网站培训介绍

当前位置:

如何屏蔽搜索引擎抓取网站内容

问题:

我们网站内容不想让百度抓取,我们可以通过设置我们网站的robots.txt文件,这个文件内容该怎么写呢?

答案:
robots.txt文件是一个网站权限文件,它可以告诉搜索引擎哪个文件可以抓取,哪个不可以抓取。
如果不想让搜索引擎抓取你的网站,可以在robots.txt文件里这样写:
User-agent: *
Disallow:/

更多robots.txt文件写法:http://www.xuewangzhan.net/zichu/483.html

回答后可见正确答案!立即回答

一条回应:“如何屏蔽搜索引擎抓取网站内容”

  1. 学习建网站学员 张晓斌说道:

    忘记了

发表评论

电子邮件地址不会被公开。 必填项已用*标注