爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 9976|回复: 6

用python脚本实现JRA-55数据批量下载

[复制链接]

新浪微博达人勋

发表于 2020-9-18 23:59:17 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
刚入门编程和各种程序的时候,在家园学习了很多,一直默默关注没有发贴。今天发个小帖,以表我对家园的感激以及对家园建设小小小小的支持。
观察了家园的几个JRA55下载方法,感到缺少一个全自动、批量下载的方法(可能有,是我没调研完整,还望批评),因此我给出一个python下载JRA55的方法。
我刚学习的时候,因为没有积分很多东西无法下载(自动回复:请不要使用迅雷等下载工具,点我查看下载帮助),因此我在我的博客上给出了完整代码。由于我现在是毛毛雨,不给发链接,如果你感兴趣,又没有足够的积分,可以在CSDN上搜索同名帖。

开始前注意点:(急的不行,要赶紧下载的话,直接看脚本吧hhh)

1. 关于你自己:

(1)有JRA-55的账户密码

(2)安装好python(我用的python3.7) 其中ftplib这个包应该是自带的,如果没有的话,安装一下哈。


                               
登录/注册后可看大图

(3)可以在自己电脑上下,但是建议挂在服务器上下载(可能八成大概会快一点儿吧)

2. 关于JRA-55:

(1)JRA-55下载一次连接不能超过1个小时(所以后面,我通过断开连接、并分三次下载来规避这个问题)

(2)JRA-55账户一个24小时里总连接时长不能超过12小时(不是很严格,但是太长时间,JRA会把和你的连接断开; 为了规避这个问题,我找朋友借了一个账户,两个账户轮流下载)

(3)JRA-55下载巨慢!我用服务器下载,一个2.2M的文件要大概40秒~1分半。(所以我设置了下载大概40个文件断开一次)

3. 关于本程序:

(1)本人python刚入门的水平...(也可能还没入门,所以可能繁琐一些,不过是能用的哈哈)

(2)程序目的:总思路是下载1960~2018年6~8月所有位势高度(hgt)日数据。

(3)程序流程:1°设置好用户名、密码→ 2°设置JRA-55要下载的文件位置→ 3°连接FTP → 4° 逐个下载文件(一个月是120/124个文件),分三次下载,每次下载40个左右,以规避1个小时的链接限制。




JRA55_download.py

3.88 KB, 下载次数: 83, 下载积分: 金钱 -5

密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2020-9-19 09:09:19 | 显示全部楼层
感谢楼主分享
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-9-25 09:18:17 | 显示全部楼层
感谢
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2020-9-25 09:23:29 | 显示全部楼层
感谢分享
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2021-1-20 18:04:24 | 显示全部楼层
感谢楼主分享
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2021-3-16 20:16:15 | 显示全部楼层
感谢分享txtx
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2022-7-25 17:04:41 | 显示全部楼层
JRA55现在还能从ds.data.jma.go.jp下载?
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表