学做网站培训课程介绍

当前位置：

如何屏蔽搜索引擎抓取网站内容

问题：

我们网站内容不想让百度抓取，我们可以通过设置我们网站的robots.txt文件，这个文件内容该怎么写呢？

答案： 
robots.txt文件是一个网站权限文件，它可以告诉搜索引擎哪个文件可以抓取，哪个不可以抓取。
如果不想让搜索引擎抓取你的网站，可以在robots.txt文件里这样写：
User-agent: *
Disallow:/

更多robots.txt文件写法：https://www.xuewangzhan.net/zichu/483.html

回答后可见正确答案！立即回答

《 “如何屏蔽搜索引擎抓取网站内容” 》 有 3 条评论

  1. 张晓斌说道：
    2019年7月2日 下午12:55

    忘记了

    回复
  2. 小萍说道：
    2021年3月4日 下午2:54

    不知道

    回复
  3. 北京王克迪说道：
    2021年5月25日 下午11:19

    忘记了

    回复

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

相关教程

  • Wordpress 垃圾留言屏蔽插件Akismet (19792 次浏览)
    我在本地搭建了个一WP网站，启用Akismet 这个插件的时候，说要注册一个Akismet API Key 我进去以后发现全是英文，我也看不懂，谁有教程呀。然后安装百
  • 如何在自己网站设置屏蔽右键防复制 图文教程 (112083 次浏览)
    很多网站原创的内容会被恶意复制，或者自己有版权的东西不希望被别人转载，可以在自己做网站时可以增加防复制，禁止右键的功能，也可以达到网站文章复
  • 各大搜索引擎收录提交入口（不断收集中……） (126583 次浏览)
    (特别全)网站收录提交链接及各大搜索引擎站长工具百度网站收录提交http://www.baidu.com/search/url_submit.html百度自动提交百
  • 以图搜图---3大相似图片搜索引擎 (125024 次浏览)
    以图搜图，顾名思义就是上传一张图片，网站搜索并显示与之类似的图片。对于我们草根站长来说，特别实用，怎么利用好它，就需要发挥你的想象力。1、T
  • 如何屏蔽搜索引擎抓取网站内容 (17701 次浏览)
    我们网站内容不想让百度抓取，我们可以通过设置我们网站的robots.txt文件，这个文件内容该怎么写呢？
  • 网站怎么彻底屏蔽拦截搜索引擎蜘蛛爬虫抓取 (111405 次浏览)
    做网站优化的站长都知道，网站上线后，网络上会有很多的搜索引擎蜘蛛爬虫会访问我们的网站。这些搜索引擎蜘蛛爬虫中既包括了百度、360、谷歌等主流搜
  • 如何将自己网站内容同步更新到微博 图文教程 (128537 次浏览)
    各类微博的流量很大，如果自己网站内容能够同步更新到自己的微博上，可以让更多的人看到自己网站上的内容了。如何将自己网站内容同步更新到微
  • wordpress网站实现游客隐藏、会员可见全部内容 图文教程 (118100 次浏览)
    提高网站的“回头客”，我们需要给注册会员提供一些特权，而对游客隐藏部分wordpress文章，因为有很多自己做网站vip学员问到，网站怎么实现游客隐藏、会

最新教程

热门教程