利用Python网络爬虫批量下载NCEP在分析逐日数据

轻拢烟云

我需要下载NCEP的逐日资料数据，数据是以一年一年独立的，直接在网页版下载非常麻烦，每年都需要单独点击下载，非常花时间，在网上需要批量下载的方式也没有很多资料，找到了Python的批量下载方法，在这里给大家提供一下，https://blog.csdn.net/Maverick_7/article/details/79976072
发现NCEP的网站源代码有一些改变，原本的程序需要进行一些调整，主要就是第八行

1. url_cand_html=soup.find_all(id='content') #定位到存放url的标号为content的div标签

复制代码

需要改为

1. url_cand_html=soup.select('.col-md-12')

复制代码

其它的应该可以运行出来，原链接禁止转载，我就不贴了，大家自己去看吧，感谢大神

轻拢烟云

昨天重新运行的时候发现，第九行也要修改

1. list_urls=url_cand_html[0].find_all("a") #定位到a标签，其中存放着文件的url

复制代码

中括号里的0 要改成1

18021719881

给力，今天下逐日数据发现好难下，网页下下就下载失败了，用了这个方法好像速度也不快，希望别断吧

轻拢烟云

18021719881 发表于 2019-4-1 22:11
给力，今天下逐日数据发现好难下，网页下下就下载失败了，用了这个方法好像速度也不快，希望别断吧

如果断了的画，查一下最后一个完整下载的数据是第i个，在最后一个for循环内加一行

1. if i>=3:

复制代码

就能接着下载了

轻拢烟云

18021719881 发表于 2019-4-1 22:11
给力，今天下逐日数据发现好难下，网页下下就下载失败了，用了这个方法好像速度也不快，希望别断吧

如果断了的话，查一下最后一个完整下载的数据是第i个，在最后一个for循环内加一行if i>=3:
就能接着下载了

颂与梵唱

你好，如果只想要1989-2018年的数据需要在哪里调整呢？

轻拢烟云

颂与梵唱 发表于 2019-9-29 08:47
你好，如果只想要1989-2018年的数据需要在哪里调整呢？

最简单的还是在最后一个for循环里加一个i的判断

小屁、噗ゃ

楼主，第八行，第九行都改了，报错啊~

13268246806

没有报错，已经改了自己的想要的保存路径，但是也没有任何反应，求指教!

vacantdj

感谢分享