【站长学堂】wordpress巧用robots协议避免蜘蛛黑洞

屏聚源码 2019年9月1日22:02:35屏聚学院评论75,978阅读模式

  前面一篇文章写的是robots.txt的使用方法,其中里面详细介绍了robots协议是什么和怎么使用,但是你肯定不知道怎么使用robots来避免搜索蜘蛛进入死循环当中,其实如果你们有细看我的robots协议的话肯定能理解的。

  懂的使用robots,对于一个站长来说是不可或缺的一项技能,也可以说是一种本事。那么怎么用robots协议来避免搜索蜘蛛黑洞呢?那么我们就要了解什么叫蜘蛛黑洞。

  什么叫蜘蛛黑洞

  蜘蛛黑洞指的是网站大部分相同的内容利用动态链接参数的不同引导蜘蛛不断爬取网站内容,可能有的站长以为这样对于网站来说很好,因为搜索蜘蛛一直在你的网站逗留,这样就可以不断增加网站的曝光率。其实不然,如果搜索蜘蛛一直在死循环状态,而且抓取的全部都是内容相似度很高的低质量文章,那么你网站的质量也会降低。

  如何避免蜘蛛黑洞?

  那么我们要如何避免这个事情的发生呢?或许你的动态参数对你网站来说很有必要,那么你可以通过robots来屏蔽不必要的动态链接参数。也就是禁止搜索蜘蛛爬取。我们只需要在你的robots中加上一个语句:Disallow: /*?*。这样就可以避免蜘蛛黑洞了。

屏聚源码
怎么获取小程序页面路径 屏聚学院

怎么获取小程序页面路径

怎么获取小程序页面路径? 1、登录小程序的微信公众平台http://mp.weixin.qq.com/ 2、点击右上角工具选项卡,在下拉菜单中选择“生成小程序码” 3、弹出的窗口中填入小程序appID...
教你如何导出百度网盘目录结构-超详细的 屏聚学院

教你如何导出百度网盘目录结构-超详细的

百度网盘大家都在用,有时候希望把自己的文件目录结构给导出来,能形成一个文件树的形式,无奈网上找了好多资料都无果,大多数说的是在浏览器里控制台下,那个方法已经不适用,而且只能导出一级目录,求人不如求己,...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定