【站长学堂】wordpress巧用robots协议避免蜘蛛黑洞

屏聚源码 2019年9月1日22:02:35屏聚学院评论57,672阅读模式

  前面一篇文章写的是robots.txt的使用方法,其中里面详细介绍了robots协议是什么和怎么使用,但是你肯定不知道怎么使用robots来避免搜索蜘蛛进入死循环当中,其实如果你们有细看我的robots协议的话肯定能理解的。

  懂的使用robots,对于一个站长来说是不可或缺的一项技能,也可以说是一种本事。那么怎么用robots协议来避免搜索蜘蛛黑洞呢?那么我们就要了解什么叫蜘蛛黑洞。

  什么叫蜘蛛黑洞

  蜘蛛黑洞指的是网站大部分相同的内容利用动态链接参数的不同引导蜘蛛不断爬取网站内容,可能有的站长以为这样对于网站来说很好,因为搜索蜘蛛一直在你的网站逗留,这样就可以不断增加网站的曝光率。其实不然,如果搜索蜘蛛一直在死循环状态,而且抓取的全部都是内容相似度很高的低质量文章,那么你网站的质量也会降低。

  如何避免蜘蛛黑洞?

  那么我们要如何避免这个事情的发生呢?或许你的动态参数对你网站来说很有必要,那么你可以通过robots来屏蔽不必要的动态链接参数。也就是禁止搜索蜘蛛爬取。我们只需要在你的robots中加上一个语句:Disallow: /*?*。这样就可以避免蜘蛛黑洞了。

屏聚源码
软著申请流程详解 屏聚学院

软著申请流程详解

前言 计算机软件著作权:是指自然人、法人或者其他组织对计算机软件作品享有的财产权利和精神权利的总称。通常语境下,计算机软件著作权又被简称为软件著作权、计算机软著或者软著。 计算机软件著作权与一般作品著...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定