Python+Selenium爬虫访问百度出现百度安全验证的解决办法

Python与SEO 思享 1695浏览

新的一年刚开始,百度又有更新了。今天早上刚起床,开始了今天的学习之路。返现了一个有趣的事,和大家分享解决一下。

Chrome驱动打开百度时发现需要进行安全验证。而且看到验证的方式还特别新奇,如下图需要图片方正。
解决方法:可以通过隐藏WebDriver提示条和自动化扩展信息来跳过验证。

from selenium import webdriver
from selenium.webdriver import ChromeOptions
option=ChromeOptions()
option.add_experimental_option('excludeSwitches',['enable-automation'])
option.add_experimental_option('useAutomationExtension',False)
brw=webdriver.Chrome(options=option)
brw.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{'source':'Object.defineProperty(navigator,"webdriver",{get:()=>undefind})'})
brw.get("http://www.baidu.com")

注:学习之路永无止境,代码借鉴了爬虫相关的书籍。

推荐阅读

DataForSeoBot是什么蜘蛛,封禁有什么影响

今天无意中看到一个蜘蛛快速爬取一个网站。蜘蛛程序的名称是 DataForSeoBot。一些网站抓取了数以万计的 IP。这将大大降低网站的性能。它对我们国内的蜘蛛和客户开放。网页的速度影响很大,让我们看看DataForSeoBot蜘蛛在哪里,有哪些IP......

百度网盘最新不限速下载软件:爱奇艺万能联播

百度网盘的下载速度一直广受诟病。之前有过不限速下载的软件,但是因为平时很少用网盘,软件需要更新,无法使用。最近发现了一个官方的退出加速方法,就是爱奇艺万能网播使用网盘下载功能。下载并安装爱奇艺万能联播,并打开。登录到您的百度云帐户。选择你要下载的文件......

Python实现聚合问答采集文章

最近在一个社区得到了一个用python聚合问答的工具,但是因为已经打包成程序了,所以无法研究,于是在网上找了一个网友分享的源代码,转载于此,供志愿者学习和后期扩展。这个工具可以通过头条搜索、百度下拉结果、搜狗下拉、百度知道搜索、新浪爱问、搜狗问问,将......