DataForSeoBot是什么蜘蛛,封禁有什么影响

自媒体 思享 349浏览
摘要:
今天无意中看到一个蜘蛛快速爬取一个网站。蜘蛛程序的名称是 DataForSeoBot。一些网站抓取了数以万计的 IP。这将大大降低网站的性能。它对我们国内的蜘蛛和客户开放。网页的速度影响很大,让我们看看DataForSeoBot蜘蛛在哪里,有哪些IP段,如何拦截。 IP/服务器信息 157.90.130.52 Germany Saxony Free State 这是国外IP,大部分遵循robots协议

今天无意间看到有个蜘蛛在快速的爬取网站,蜘蛛的名称是DataForSeoBot,有的站爬取多达上几万IP,这样会大打网站性能的折扣,对于咱们国内的蜘蛛和客户打开网页的速度有很大的影响,下面咱们看下DataForSeoBot蜘蛛到底是哪里的,IP段都有哪些,怎么去封禁

IP/服务器157.90.130.52的信息 德国 萨克森自由州 这是国外的IP,大部分都是遵循 robots协议

既然是国外的蜘蛛爬虫,应该是遵循robots协议吧,就去robots里面加了

User-Agent: DataForSeoBot
Disallow: /

然后你会惊奇的发现,有时候还会爬取,但是这个不一定,有的网站就不会爬取了,但是我的网站依然在爬取,我很生气,感觉这个蜘蛛这家公司太不要那个碧莲了 ,然后我决定封禁他的IP段,我比较习惯用宝塔,所以在宝塔——软件商店——第三方应用,搜索Nginx免费防火墙来封禁IP

如下图:

把你想要封禁的IP输入到黑名单里就可以了,或者在配置里封禁

nginx配置文件,

nginx配置文件,
Server {
……
if ($http_user_agent ~ "DataForSeoBot/1.0" )
{
      return 403;
}

推荐阅读

网站日志爬虫IP 123.125.68.*,是百度的沙盒蜘蛛吗?

谁跟你说有沙盒蜘蛛?你让他出来,我保证不打死他。你可以通过反查来判断它是不是百度蜘蛛,参考:http://zhanzhang.baidu.com/wiki/251...

百度蜘蛛的爬虫最多会爬多少次网站?

视网站规模和质量而定,高的一天抓一两千万次,低的只有几次或几十次。 相关SEO术语解释: 百度蜘蛛: 百度蜘蛛,是百度搜索引擎的一个自动程序。它的作用是访问收集整理互联网上的网页、图片、视频等内容,然后分门别类建立索引数据库,使用户能在百度搜索引擎中......

Python+Selenium爬虫访问百度出现百度安全验证的解决办法

新的一年刚开始,百度又有更新了。今天早上刚起床,开始了今天的学习之路。返现了一个有趣的事,和大家分享解决一下。 Chrome驱动打开百度时发现需要进行安全验证。而且看到验证的方式还特别新奇,如下图需要图片方正。 解决方法:可以通过隐藏WebDrive......