请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 13426|回复: 0

[经验总结] scrapy的JavaScript交互功能:scrapy-splash模块

[复制链接]

新浪微博达人勋

发表于 2021-1-14 16:24:24 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
看完《Python网络爬虫实战(第2版)》的scrapy部分,里面没写它能跟JS交互,我还以为scrapy只能爬静态网页,那就太弱了!
从网上查,scrapy还是有这个功能的,splash和selenium 中说:
Scrapy没有JS Engine, 因此它无法爬取JavaScript生成的动态网页,只能爬取静态网页,
而在现代的网络世界中,大部分网页都会采用JavaScript来丰富网页的功能。
所以,这无疑Scrapy的遗憾之处。
那么,我们还能愉快地使用Scrapy来爬取动态网页吗?
答案依然是yes!
答案就是,使用scrapy-splash模块!
scrapy-splash模块主要使用了Splash
所谓的Splash, 就是一个Javascript渲染服务。......


密码修改失败请联系微信:mofangbao
您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表