网站文章定时发布会不会影响蜘蛛爬取

最近的网站一直处于降权当中,当初我写过三个可能导致我网站降权的三个原因,其中有一个就是网站设置了文章定时发布,其实本来文章定时发布本来是个好事,因为定时发布任务可以吸引百度蜘蛛准时的来爬,这个道理大家都懂,但是老丁想说的是其实很多时候,大家都认为正确的东西也不一定是对的。

什么意思呢?我们都知道文章能收录其实不取决于文章的质量,而是取决于蜘蛛来不来爬,蜘蛛来爬取的次数是可以直接决定收录的快慢的,那些权重比较高的站,蜘蛛可能就不会离开,一天的爬取可能几百万次。

所以其实如果你的网站每天写的文章不多,比如老丁这个网站,每天一篇,那么蜘蛛来爬取的次数其实就不会太多,之前还是比较稳定的,大概在200-300次左右,但是自从使用了定时发布以后,这个频次开始逐步下降,直到现在的每天不到50次。

网站文章定时发布会不会影响蜘蛛爬取

蜘蛛爬取数据

为什么会这样,老丁大胆的做了一个假设,如果你之前发布文章的时候每天可能是一天中的任何时间,比早上,下午或者晚上,那么蜘蛛来的时间就不会固定,比如早上回来看看,中午也来爬爬,晚上也要来爬爬,因为在网站比较稳定的情况下,蜘蛛也怕错过文章,但是如果你在一个固定的时间段内都是早上发布文章的,那么在蜘蛛来了几天以后,他就会发现这个规律,然后下午就不来了。

百度蜘蛛也是很聪明的,也算是算法的一种,如果说爬取也是一种资源的话,那么蜘蛛的爬取资源也是有限的,肯定会想在同一时间段内爬取更多的网站,能来50次就可以解决问题的,为什么要来200次呢?

百度蜘蛛也算是一种人工智能的算法,也会自己学习的,然后进行更新迭代优化的。

所以,老丁这篇文章是晚上更新的,我想验证一下我的想法是不是正确的!当然也可能是我想多了,但是没有思考,没有试错就不会进步,这个道理也好懂。

当然了,我可以去分析网站爬取日志的,来验证我这个想法是不是对的。但是我并不想这么做,因为爬取日志有很多伪蜘蛛,需要花费大量的时间去分辨,我更相信站长后台的数据。

当然了,对于那些每天更新多篇文章的站长来说或许就不会存在这个问题。

仅仅是一点想法,未必是对的,我们走着看看再说!

 

  • 我的微信:laoding2004
  • 这是我的VX扫一扫
  • weinxin
  • 我的公众号
  • sulaoding
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: