爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索
查看: 39434|回复: 27

[经验总结] python下载怀俄明大学探空资料下载,来自github

[复制链接]
发表于 2019-12-18 13:37:33 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
最近因为研究需要下载怀俄明大学网站的探空数据,用过(http://bbs.06climate.com/forum.php?mod=viewthread&tid=89611&extra=page%3D1)这个自动批量下载的python脚本,总是会下载几个时间整个程序就卡住不动了(我是在window10下,用anaconda的spder),后来又去各个地方找了其他办法的自动下载探空数据的脚本,都不尽人意。后来转换思路去github上看看,果然有收获,最后找到一个我个人很满意的版本。这里附上链接https://github.com/caioruman/soundings。我大致说一下使用方法。
首先,把整个包下载下来。第二步,是编辑stations_arctic.txt这个文件,这里面是放你需要下载的站点信息,#号代表省略这个站点,使用的时候就照着人家的写法就行了,记得把#号去掉
第三步,打开Soundings_download_monthly_step1.py,修改起始和结束时间,然后就可以用python进行运行
第四步,在Soundings_download_monthly_step1.py下,应该就有了刚才下载的数据,打开文件夹,里面就是探空数据了。

除了下载探空数据外,这个作者还写了一个python程序能够整理这些数据,可以把一年的高空探测数据整合到一个csv文件当中
第一步,打开Soundings_step2.py,这个step2也需要调用站点信息,站点信息的格式和stations_arctic.txt是一模一样的,所以可以偷懒直接把改为stations = open('stations_arctic.txt', 'r')
然后运行就大功告成了。

另外这个作者还写了其他关于探空数据的处理,step3和step4,我暂时用不上,在这里就不研究了。大家有空可以自己看看。
大家如果偷懒不想下载,我这里也附上这个作者的整个包,不过大家自己有兴趣还是自己上去看看啦。
很少发帖子,本来想发一个图文并茂的,但是我觉得我不行,大家就凑合着看吧。另外是作者是歪果仁,如果侵权了我自己后面会删除。

soundings-master.zip

77.54 KB, 下载次数: 130, 下载积分: 金钱 -5

评分

参与人数 2金钱 +10 收起 理由
Gabriella + 6
落木萧骁 + 4 很给力!

查看全部评分

密码修改失败请联系微信:mofangbao
发表于 2020-8-1 17:49:40 | 显示全部楼层
心如止水的饭团 发表于 2020-7-21 16:13
你下载的是国内站点吗?我发现2020以来,好像国内的数据都不好下载了,你用程序之前,先看看自己要下载的 ...

19年12月的有,2020年1月部分有,往后的无法获取
密码修改失败请联系微信:mofangbao
回复 支持 1 反对 0

使用道具 举报

发表于 2020-5-22 02:52:28 | 显示全部楼层
matsui 发表于 2020-3-26 21:13
楼主,我这里Soundings_step2.py运行的时候报错,125行 df.loc = [tofloat(line[0+x:7+x]) for x in range( ...

还有一个解决方法,爬数据的时候它一月一号00z的数据没有标题,你按照它下一个时次的标题给它添加上去,就能自动抓取年月日时的信息了
密码修改失败请联系微信:mofangbao
回复 支持 1 反对 0

使用道具 举报

发表于 2019-12-18 19:54:09 | 显示全部楼层
在删除前,先下载了 哈啊哈哈哈
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2019-12-18 20:02:19 | 显示全部楼层
"这个自动批量下载的python脚本,总是会下载几个时间整个程序就卡住不动了(我是在window10下,用anaconda的spder)"    我一直以为是我的网的问题,被我们单位限制住了,或者是被对方限制住了。
看来楼主也遇到这个问题。
谢谢楼主给提供了新方式,我明天上去试试。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

 楼主| 发表于 2019-12-19 11:07:42 | 显示全部楼层
独孤酒见 发表于 2019-12-18 20:02
"这个自动批量下载的python脚本,总是会下载几个时间整个程序就卡住不动了(我是在window10下,用anaconda ...

我之前也一直觉得是不是我网络的问题,但是我遇到过被反爬虫是有报错的,所以继续去别地方找程序,也有在简书上找到一个程序,虽然有运行,但是没看到数据出来,最后用的这个应该是我觉得最好的,能够下载,而且能够帮忙整理数据
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2019-12-19 14:48:18 | 显示全部楼层
心如止水的饭团 发表于 2019-12-19 11:07
我之前也一直觉得是不是我网络的问题,但是我遇到过被反爬虫是有报错的,所以继续去别地方找程序,也有在 ...

恩娜,昨天看到您发的这个帖子,一下子我又有信心搞这个数据了。
而且还额外的带上了这个数据处理的代码。
我自己先认真学习,到时候遇到问题请教您,我代码水平是真差啊。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2019-12-26 10:26:27 | 显示全部楼层
谢谢楼主分享,学习一下
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2020-3-13 15:13:06 | 显示全部楼层
我使用过,感觉很好,而且自己可以不断修改,感谢提供的这一版本。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2020-3-13 21:21:13 | 显示全部楼层
这个大概要多久下一个测站(我设置了下2019年1月到12月),python小白捣鼓了几个小时好不容易把那些难缠的库都装好了,结果下一个测站就一直不动
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

发表于 2020-3-13 21:28:06 | 显示全部楼层
cuixindong 发表于 2020-3-13 15:13
我使用过,感觉很好,而且自己可以不断修改,感谢提供的这一版本。

你刚刚用过吗?
请问这个大概要多久下一个测站(我设置了下2019年1月到12月),python小白捣鼓了几个小时好不容易把那些难缠的库都装好了,结果下一个测站就一直不动
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-3-16 09:45:34 | 显示全部楼层
chastitykeeper 发表于 2020-3-13 21:28
你刚刚用过吗?
请问这个大概要多久下一个测站(我设置了下2019年1月到12月),python小白捣鼓了几个小 ...

我没试过多站点下载,如果你多站点下载有问题,就一个一个站点下载,自己手动调station_arctic.txt那个文件
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表