网络爬虫模拟浏览器之无头谷歌Headless Chrome

15195775117

现在很多爬虫教程使用的浏览器是phantomJS，这是比较老旧的，
目前，谷歌无头浏览器Headless Chrome取代了phantomJS，
因为现在大家用的基本都是谷歌内核的浏览器，连微软的Edge都是谷歌内核，
所以，使用无头谷歌分析网页，更便利、更准确，
phantomJS中的网页结构与我们使用谷歌内核的浏览器看到的，有时不一样，所以可能会出现元素定位错误。


何谓“无头”呢？就是爬虫使用浏览器的时候不会启动界面。

以下是使用无头谷歌的步骤：
1、下载安装谷歌浏览器
2、把Chrome.exe所在目录放到环境变量Path
3、查看浏览器版本，我的是：90.0.4430.93（正式版本） （64 位）
4、打开：http://npm.taobao.org/mirrors/chromedriver/
5、从中找到对应的版本的文件夹（是以斜杠结尾的那个，不是以Latest开头的那个）
6、点开这个文件夹，发现有个chromedriver_win32.zip，下载之
7、解压之，发现是个chromedriver.exe
8、把它一式两份分别复制到Chrome.exe所在目录和Python.exe所在目录


这样，我们就可以让selenium使用Headless Chrome了

跺碎那片云

然后可以静默运行

# 配置谷歌浏览器静默启动【后台启动】
chrome_options = webdriver.ChromeOptions()
# 初始化谷歌浏览器的配置【必须加上】
chrome_options.add_argument('--headless')
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
########################################################
chrome_driver = 'xxxx'   
driver = webdriver.Chrome(executable_path = chrome_driver, options=chrome_options)          #加载浏览器驱动
driver.get('网址')  #打开页面