自动外链工具 在线排版工具 搜索引擎提交入口 wordpress主题推荐 批量打开网址工具 优化PDF资料 【已备案域名】 ★VIP视频在线解析★ 追虐SEO导航

为什么蜘蛛抓取频次会暴增?

598

为什么神秘的spider突然疯狂造访?

为什么所谓的spider白名单迟迟不肯公布?究竟这些暴增的spider来自于哪里?

一天小A发现一直正常运转的服务器突然报警,原因是百度spider对网站展开了一场疯狂的抓取,警觉的小A自查了网站,并未发生什么异常,于是,小A火急火燎找到百度站长平台反馈问题,希望将spider加入传说中的“白名单”,屏蔽其他蜘蛛。

蜘蛛

然而,一切并没有他预想中的顺利,因为百度spider IP的变化时间不确定,即便公布,也可能会因为变化过快,站长设置不及时,反而造成抓取失败,酿成更糟的后果,所以,除了分析究竟为何暴增,对症下药之外并无其他更有效的解决途径。

而这幕后到底隐藏何种原因?

spider对网站的抓取数量究竟取决于什么?

首先,我们需要探究“决定sipder抓取网站频次”的原因:

总体来说,百度spider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等,来综合计算抓取流量,同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。

了解了本质原因,我们再来分析造成暴增的几种可能性:

  1. spider发现站内JS代码较多,调用大量资源针对JS代码进行解析抓取;
  2. 百度其他部门(如商业、图片等)的spider在抓取,但流量没有控制好;
  3. 已抓取的链接,打分不够好,垃圾过多,导致spider重新抓取;
  4. 站点被攻击,有人仿冒百度爬虫(参考:《如何识别Baiduspider》)。

如果想减少蜘蛛抓取频次,减小服务器压力。可以通过百度站长平台抓取频次工具,进行相关设置

一直困惑的小A终于了解了原因,一颗悬着的心也算落了地。

在此也郑重提醒各位站长:如果经过排查并非以上四种原因,这里告诉您一个终极解决方案:来百度站长平台反馈中心反馈,切记附上详细的抓取日志截图。

来源:本文由思享SEO博客原创撰写,欢迎分享本文,转载请保留出处和链接!

抢沙发

昵称*

邮箱*

网址