曾庆平SEO在之前的文章中谈到robots.txt的概念时，留下了一个问题：曾庆平SEO为什么会把robots.txt写得这么复杂？
曾庆平SEO robots . txt:http://www.yongfengseo.com/robots.txt的目的是让搜索引擎看起来更规范、更权威。
1.使用robots.txt来阻止类似的页面或没有内容的页面。
正如我们所知，搜索引擎会在网页被包含后对其进行“审查”。当有两个相似度高的页面时，搜索引擎会删除其中一个。
如果以下两个链接内容相似，则应阻止第一个链接。http://www.xxx.com/bbs/redirect.php? tid=5167 goto=last post # last post
http://www.xxx.com/bbs/thread-5167-1-1.html
第一个里面有很多链接。屏蔽的时候，就屏蔽/bbs/redirect.php？它挡住了一切。代码：Disallow: /bbs/redirect.php？
这样一个没有内容的页面，也应该屏蔽掉：http://www.xxx.com/index.php? Sid=247304 lang=ZHACTION=WRITE COMMENTED=77 artlang=ZH，这样的链接还有很多。当你阻塞的时候，就阻塞/index.php？Sid=阻止所有。
代码：Disallow: /index.php？sid=
2.用robots.txt屏蔽冗余链接当动态和静态共存时，动态链接通常会被删除。
一个网站中往往有许多指向同一页面的链接。当这种情况普遍存在时，搜索引擎会怀疑网站的权威性。通过robots.txt移除非必要链接
如果以下两个链接指向同一个页面，请删除第二个链接。
http://www.xxx.com/space.php?用户名=曾庆平seo
http://www.xxx.com/space-uid-15.html
代码：Disallow: /space.php？用户名=
特别是，主页上有几个链接：www.yongfengseo.com和www.yongfengseo.com/index.html,等。在这个时候，不要阻拦index.html。因为index.html和index.php是默认主页，屏蔽可能会导致蜘蛛爬行紊乱。
我们需要做的是在为主页制作网站内外链接时，统一使用没有index.html的http://www.yongfengseo.com/。这就是URL标准化的概念。
3.阻止机器人的死链接
死链接是最初存在的链接和网页，后来因为修订或更新而被删除。例如，以前在目录中的所有链接(假设目录是/tempweb/)都可以被robots.txt阻止，因为修订版现在变成了死链接。
代码：Disallow: /tempweb/
4.用robots.txt屏蔽“Bei K”可能的外部链接。
很多网站允许用户放自己的网站链接，但是太多的“K”外部链接可能会妨碍他们。因此，许多人将所有外部链接放在一个链接目录中，然后通过robots.txt统一阻止它们
如果你对Disallow:的具体操作方法不是很清楚，可以在这里了解一下我之前发表的robots文章。
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/160511.html