scrapy的JavaScript交互功能：scrapy-splash模块

15195775117

看完《Python网络爬虫实战(第2版)》的scrapy部分，里面没写它能跟JS交互，我还以为scrapy只能爬静态网页，那就太弱了！
从网上查，scrapy还是有这个功能的，splash和selenium 中说：
Scrapy没有JS Engine, 因此它无法爬取JavaScript生成的动态网页，只能爬取静态网页，
而在现代的网络世界中，大部分网页都会采用JavaScript来丰富网页的功能。
所以，这无疑Scrapy的遗憾之处。
那么，我们还能愉快地使用Scrapy来爬取动态网页吗？
答案依然是yes!
答案就是，使用scrapy-splash模块！
scrapy-splash模块主要使用了Splash
所谓的Splash, 就是一个Javascript渲染服务。......