乔斯特·德·沃克
JoostdeValk是Yoast的创始人兼首席产品官。他是一位互联网企业家，他在创立Yoast之后投资并为多家初创公司提供了建议。他的主要专长是开源软件开发和数字营销。
我们曾经说过它，但是我们会重复一遍：让我们感到惊讶的是，仍然有人仅使用robots.txt文件来阻止他们的网站在Google或Bing中建立索引。结果，他们的网站仍然出现在搜索引擎中。你知道为什么它让我们惊讶吗？因为robots.txt实际上不会执行后者，即使它确实阻止了对网站建立索引。让我在这篇文章中解释这是如何工作的。
有关robots.txt的更多信息，请阅读robots.txt：最终指南。或者，找到在WordPress中处理robots.txt的最佳做法。
被索引和在Google中列出有区别
在我们进一步解释之前，我们需要先在这里仔细阅读一些术语：
- 索引/索引将站点或页面的内容下载到搜索引擎的服务器，从而将其添加到其“索引”的过程。
- 排名/列表/显示在搜索结果页面（又称SERP）中显示网站。
因此，尽管最常见的过程是从编制索引到列出清单，但不必为一个网站编制索引就可以列出清单。如果链接指向页面，域或任何地方，则Google会跟踪该链接。如果该域上的robots.txt阻止了搜索引擎对该页面的索引编制，但如果它可以从可能值得研究的其他变量中收集，它仍将在结果中显示URL。
在过去，可能是DMOZ或Yahoo目录，但是我可以想象Google使用了例如您最近的“我的商家”详细信息或这些项目中的旧数据。更多网站汇总了您的网站，对。
现在，如果上面的解释没有意义，请看一下2009年前GooglerMattCutts的视频解释：
如果您有理由阻止网站建立索引，那么将请求添加到要阻止的特定页面上（如Matt所说的那样），仍然是正确的方法。
但是您需要将有关该元机器人标记的信息告知Google。因此，如果您想有效地对搜索引擎隐藏页面，则需要它们为这些页面建立索引。即使那可能看起来是矛盾的。有两种方法可以做到这一点。
通过添加一个元机器人标签来阻止您的页面列表
阻止您的页面列表的第一个选项是使用漫游器元标记。我们有关于的终极指南机器人元标记范围更广，但是基本上可以归结为将这个标签添加到您的页面中：
如果您使用YoastSEO，这非常简单！无需自己添加代码。学如何在此处使用YoastSEO添加noindex标签。
像这样的标签的问题是，您必须将其添加到每个页面。
YoastSEO中简化的机器人元标记管理
为了使将metarobots标记添加到网站的每个页面的过程变得更加容易，搜索引擎提出了X-Robots-TagHTTP标头。这样，您就可以指定一个称为X-Robots-Tag的HTTP标头，并像元机器人标签的值一样设置该值。关于这个的很酷的事情是，您可以在整个网站上做到这一点。如果您的站点在Apache上运行，并且启用了mod_headers（通常是启用），则可以将以下单行添加到.htaccess文件中：
标头集X-Robots-Tag“noindex，nofollow”
这样做的结果是可以对整个站点建立索引。但是永远不会显示在搜索结果中。
因此，使用Disallow：/删除该robots.txt文件。请改用X-Robots-Tag或该元机器人标记！
阅读更多：元机器人标签的最终指南»
来源
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/167300.html