【SEO优化】如何设置让网站禁止被爬虫收录

网站优化【SEO优化】如何设置让网站禁止被爬虫收录网站建设好了,当然是希望网页被搜索引擎收录的越多越好,但有时候我们也会碰到网站不需要被搜索引擎收录的情况。要启用一个新的域名做镜像网站,主要用于PPC
的推广,这个时候

网站建成后,我们当然希望被搜索引擎收录的页面越多越好,但有时候也会遇到网站不需要被搜索引擎收录的情况。启用新域名作为镜像网站,主要用于PPC。

此时,我们必须找到一种方法来阻止搜索引擎蜘蛛对我们镜像网站的所有页面进行爬行和索引。如果镜像网站也被纳入搜索引擎,很可能会影响官网在搜索引擎中的权重。

以下是阻止爬虫(蜘蛛)在主流搜索引擎中抓取/索引/收集网页的一些想法。注意:整个网站屏蔽,尽量屏蔽所有主流搜索引擎的爬虫(蜘蛛)。

1.通过。

Robotstxt文件屏蔽

说起来不算太多

Robotstxt文件是最重要的渠道(它可以与搜索引擎建立直接对话),并给出以下建议:

用户代理

Baiduspider

驳回

/

用户代理

谷歌机器人

驳回

/

用户代理

谷歌机器人手机

驳回

/

用户代理

谷歌机器人图像

不允许/

用户代理

MediapartnersGoogle

驳回

/

用户代理

AdsbotGoogle

驳回

/

user agentfeedfeetchergoogle

驳回

/

用户代理

雅虎思乐普

驳回

/

用户代理

雅虎思乐普中国

驳回

/

用户代理

YahooAdCrawler

驳回

/

用户代理

优道机器人

驳回

/

用户代理

sospider

驳回

/

用户代理

搜狗蜘蛛

驳回

/

用户代理

搜狗网蜘蛛

驳回

/

用户代理

MSNBot

驳回

/

用户代理

iaarchiver

驳回

/

用户代理

番茄机器人

驳回

/

用户代理

驳回

/

2.通过。

元标签掩码

在网页的所有头文件中添加以下语句:

元名称='robots '内容='index,follow '

/:您可以爬网此页面或继续索引此页面上的其他链接。

meta name=' robots ' content=' no index,follow '

/:禁止对此页面进行爬网,但可以对该页面上的其他链接进行爬网和跟踪。

meta name='robots '

Content='index,nofollow'/:您可以爬网此页面,但禁止爬网和跟踪此页面上的其他链接。

meta name=' robots ' content=' no index,nofollow '

/:禁止对此页面进行爬网,禁止对该页面上的其他链接进行爬网和跟踪。

meta name=' robots ' content=' no archive '/:禁止搜索引擎拍摄快照。

3.通过服务器(如Linux/nginx)。

)配置文件设置。

直接过滤

蜘蛛/机器人的知识产权部分。

以上是《SEO优化之如何设置让网站禁止被爬虫收录》的全部内容,仅供站长朋友们互动学习。SEO优化是一个需要坚持的过程。希望大家一起进步。

内容来源网络,如有侵权,联系删除,本文地址:https://www.230890.com/zhan/53341.html

(0)

相关推荐

  • 【网站建设】高端网站设计的要点都有哪些?

    网站优化【网站建设】高端网站设计的要点都有哪些?随着网站的普及,人们经常忽略的网站的另一个功能是展示网站。展示型网站是高端的,所以企业高端网站设计势在必行。如何打造高端网站?如果不了解网站架构,可能就不在用户的喜好范围内

    攻略 2021年11月17日
  • 如何扩展关键词

    网站优化,深圳seo外包公司,深圳网站建设">收录是排名的前提,所以文章质量很重要。其次,关键词的布局要合理,重要的体现在标题和段。其他文章也要均匀分布,密度在2%到8%之间。最后,锚文本的合理使用是合理的。深圳seo公

    2021年10月17日
  • 搜索引擎优化中你不知道的秘密

    网站优化,深圳seo外包公司,深圳网站建设">众所周知,网站上的每个页面都应该有一个独特的描述性标题,这对搜索引擎的优化效果有很大的影响。如果你的网站规模不是很大,也许你可以很容易的手工检测出来,在诊断和内容分析下,百度

    攻略 2021年10月28日
  • 网站优化遵循七点细节-深圳seo外包

    网站优化,深圳seo外包公司,深圳网站建设">网站关键词展示形式是指网站的关键词如何显示,如字体、颜色等。原则是布局要平均。通常要求在2%到8%之间。不要在一个区域包含很多关键词,但在其他地方不包含。就网站上关键词的密度

    攻略 2021年10月21日
  • 【网站建设】网站建设掌握核心内容才可以让网站发挥更好的作用

    网站优化【网站建设】网站建设掌握核心内容才可以让网站发挥更好的作用网页设计和框架的构造  网站建设之初就需要看看整个网站设计的内容和基本的框架,要是可以明确相应的框架,在整个优化的时候也会更加容易,不过,网站建设优化还需

    攻略 2021年11月21日
  • SEO优化工作如何脚踏实地

    网站优化,深圳seo外包公司,深圳网站建设SEO优化工作如何脚踏实地众所周知,我们在做搜索引擎优化的时候,数据有时波动是很正常的。但是有时候,我们在网站上的一些操作会让我们的网站波动很大。你知道吗?今天,深圳seo公司将

    攻略 2021年11月18日