前面一篇文章写的是robots.txt的使用方法，其中里面详细介绍了robots协议是什么和怎么使用，但是你肯定不知道怎么使用robots来避免搜索蜘蛛进入死循环当中，其实如果你们有细看我的robots协议的话肯定能理解的。
懂的使用robots，对于一个站长来说是不可或缺的一项技能，也可以说是一种本事。那么怎么用robots协议来避免搜索蜘蛛黑洞呢？那么我们就要了解什么叫蜘蛛黑洞。
什么叫蜘蛛黑洞
蜘蛛黑洞指的是网站大部分相同的内容利用动态链接参数的不同引导蜘蛛不断爬取网站内容，可能有的站长以为这样对于网站来说很好，因为搜索蜘蛛一直在你的网站逗留，这样就可以不断增加网站的曝光率。其实不然，如果搜索蜘蛛一直在死循环状态，而且抓取的全部都是内容相似度很高的低质量文章，那么你网站的质量也会降低。
如何避免蜘蛛黑洞？
那么我们要如何避免这个事情的发生呢？或许你的动态参数对你网站来说很有必要，那么你可以通过robots来屏蔽不必要的动态链接参数。也就是禁止搜索蜘蛛爬取。我们只需要在你的robots中加上一个语句：Disallow: /*?*。这样就可以避免蜘蛛黑洞了。
评论