为什么蜘蛛抓取频次会暴增？

然而，一切并没有他预想中的顺利，因为百度spider IP的变化时间不确定，即便公布，也可能会因为变化过快，站长设置不及时，反而造成抓取失败，酿成更糟的后果，所以，除了分析究竟为何暴增，对症下药之外并无其他更有效的解决途径。

而这幕后到底隐藏何种原因？

spider对网站的抓取数量究竟取决于什么？

首先，我们需要探究“决定sipder抓取网站频次”的原因：

总体来说，百度spider会根据站点规模、历史上网站每天新产出的链接数量、已抓取网页的综合质量打分等等，来综合计算抓取流量，同时兼顾站长在抓取频次工具里设置的、网站可承受的最大抓取值。

了解了本质原因，我们再来分析造成暴增的几种可能性：

1. spider发现站内JS代码较多，调用大量资源针对JS代码进行解析抓取；
2. 百度其他部门（如商业、图片等）的spider在抓取，但流量没有控制好；
3. 已抓取的链接，打分不够好，垃圾过多，导致spider重新抓取；
4. 站点被攻击，有人仿冒百度爬虫（参考：《如何识别Baiduspider》）。

如果想减少蜘蛛抓取频次，减小服务器压力。可以通过百度站长平台抓取频次工具，进行相关设置

一直困惑的小A终于了解了原因，一颗悬着的心也算落了地。

在此也郑重提醒各位站长：如果经过排查并非以上四种原因，这里告诉您一个终极解决方案：来百度站长平台反馈中心反馈，切记附上详细的抓取日志截图。