前几天在搜索外的问答环节看到这样一个问题，回答了很多问题，但是很多人说了一个错误的概念。
今天我给大家详细解释一下。首先，我会理解几个概念。
1.虽然机器人禁止抓取，但不禁止包含。
2.另外，nofollow的作用不是抓取这个链接，而是不从这个链接转移权重(我之前遇到过为什么这个链接还包含在nofollow里面的问题)。
在理解了这两个概念之后，让我们讨论如何处理这种包含：
px;padding-bottom: 8px;color: rgb(0, 0, 0);font-family: arial, sans-serif;font-size: 14px;text-align: start;white-space: normal;background-color: rgb(255, 255, 255);">robots写正确的同时，不要在任何一家收录的网站发外链，友链，也不要主动提交百度，这样才可以保证不被搜索引擎收录，为什么呢？
大家百度查一下淘宝，如图：
按照道理淘宝写了robots怎么还是收录，因为有大量的链接指向淘宝官网，而且这些外链可能权重都比较高，
全部都禁止了，依然收录了1亿多条链接
（为什么很多淘宝店有搜索引擎流量的原因，淘宝店首页多做外链、友链即可）
百度的官方解释是：为了保证用户的搜索友好度，首页会豁免，二级域名也是首页的一种。
另外：闭站保护的功能也是类似的，首页豁免。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/169782.html