谷歌的GaryIllyes更新了他关于抓取预算的原始文章，并澄清了不允许的网址。
该文件现在包括以下信息：
“问：我通过robots.txt禁止访问的网址是否会以任何方式影响我的抓取预算？
答：不，不允许的网址不会影响抓取预算。“
该问题涉及robots.txt中阻止网页抓取工具的“User-agent：*Disallow：/”协议。
它可以用于阻止整个网站被抓取，也可以用来阻止特定网址被抓取。
根据Illyes的更新，阻止特定网址不会影响网站其余部分的抓取预算。
由于网站上的其他网页不允许抓取，因此不会更频繁地抓取网页。
在抓取预算时，禁止使用网址也没有任何不利之处。
更新的信息显示在此底部文章，这是2017年的WebmasterCentral博客文章。
Illyes在Twitter上说，有计划将博客文章变成官方的帮助中心文章。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/168440.html