有很多人对robots.txt怎么设置的问题感到不解，今天柠檬ai小编就专门为您收集整理和邀请一些网友，来解答你的问题
本站小编回答：
robots.txt的使用方法和详细解释
robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。
我们先来认识一下什么是robots.txt？
我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。
下面我们再来熟悉一下怎样使用robots.txt？
首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。
robots.txt文件内的代码书写规范我们也要注意，其中User-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。Disallow:是说明不允许索引哪些文件夹。
网友X小A观点：
User-agent: *
Disallow:
Sitemap: sitemap.xml 有可以指明，没有可以不要这一行
百度是否收录，和是否有robots.txt关系不大。
网友罗伊观点：
robots.txt文件会告诉蜘蛛程序在服务器上什么文件是可以被查看的什么文件是不允许查看的。举一个简单的例子：当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面
网友张元观点:
由于该网站的robots.txt文件存在限制指令的解决办法
1.
找到根目录下的robots.txt文件，去掉这一句disallow:/，解除屏蔽抓取；
2.
下面一步很关键，就是到站长平台下去更新robots文件，告诉搜索引擎你的网站已经对它解除了屏蔽，可以来抓取我的网页内容了，主动对搜索引擎示好，快照更新过来之后，现象就会消失了。
其他人观点：
这个可以删除的，这是一个协议，搜索引擎蜘蛛访问网站时查看的第一个文件，这个文件将会告诉蜘蛛哪些可以抓取索引，哪些不可以。
百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
但是《SEO实战密码》一书中建议，就算允许抓取所有内容，也要建一个空的robots.txt文件，放在根目录下，因为有的服务器设置有问题，当robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码，这可能使搜索引擎错误解读robots文件信息。
以上就是关于robots.txt怎么设置的全部答案，希望对您有所帮助哦，如果有帮助到您，记得关注我们
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/43042.html