爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 3786|回复: 12

[netcdf] Earthdata(NASA)网站数据使用IDM下载器批量下载方法(以MERRA-2为例)

[复制链接]

新浪微博达人勋

发表于 2023-2-6 19:08:04 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
本帖最后由 gdou_lyc 于 2023-2-23 11:52 编辑

最近给亲近的人写了个教程,想着也给大家分享一下。

网址:
这个网址是下载MERRA-2 instM_3d_asm_Np类型的数据文件,具体各部分字母代表什么,看merra2 Short Name and Standard Name Legend.docx(主要是这个)以及MERRA2.README.pdf。


1. 打开网址,注册账号。
2. 回到网址,点击Subset丨Get Data
图片 1.png
3. 按照你需要选择各种参数。(其中,我们需要nc文件,所以Download Method选择第二个,File Format选择netCDF)选完后点击Get Data
图片 2.png
4. 你可以选择一个一个点链接来一个一个下载文件,也可以通过wget或者其他工具来批量下载。
图片 3.png


单个下载:(略)
批量下载:
无论是用下面哪个方法,先要去授权下载。点击Download Instructions里的Link GES DISC with your account,然后根据打开的网页的步骤来设置。
图片 4.png
点击Download Links List,下载得到一个包含全部下载链接的txt文件。
图片 5.png
一、Wget(下载速度较慢)(略,网上已有很多教程)

二、IDM下载器(下载速度较快)
1. 网上下载IDM下载器安装包(附件是我自己当时找的安装包Inet Download Manager 6.39.2.exe),安装的全程按下一步就好。
2. 安装好后打开软件,在工具栏的第四个选项,点击最后一个选项,设置中文。
图片 6.png
3. 点击选项。选择站点管理,点击新建,输入路径(urs.earthdata.nasa.gov)、你的账号、密码,然后确定。
(如果路径不对,或者显示说连接不上网址,可以试试把路径改为你Download Links List里面链接的前缀,
如我的一个链接为https://goldsmr5.gesdisc.eosdis.nasa.gov/opendap/MERRA2_MONTHLY/M2IMNPASM.5.12.4/1980/MERRA2_100.instM_3d_asm_Np.198001.nc4.nc4?O3[0:0][0:41][200:300][336:480],time,lev,lat[200:300],lon[336:480]
那路径就是goldsmr5.gesdisc.eosdis.nasa.gov)(此解决方法来自他人帮助与提醒)
图片 7.png
4. 打开你在网页下载下来的Download Links List,然后复制。在软件中点击任务中的从剪切板添加批量下载
图片 8.png
5. 点击全部选择,然后文件保存目录自己选择。点击确定
图片 9.png
6. 什么都不选,点击确认。
图片 10.png
7. 打开计划任务,点击主要下载队列中的队列中的文件,同时下载设置4或者5(因为我试过merra-2的文件只能同时下载5个,要不然会连接失败。)。设置好点击开始,就开始下载了。
图片 11.png

无论是哪种方法下载,下载完成后查看一下文件的大小,如果有个别文件大小比较小,说明那个文件下载出错,得重新下载一次这单个文件。

因为下载好的数据文件会出现后缀名为.nc4.nc4的情况(如 MERRA2_100.instM_3d_asm_Np.198001.nc4.nc4),我这里还附上将后缀名改为.nc的python脚本。

微信图片_20230223114538.png

merra2 Short Name and Standard Name Legend.docx

15.63 KB, 下载次数: 14, 下载积分: 金钱 -5

MERRA2.README.pdf

1.02 MB, 下载次数: 2, 下载积分: 金钱 -5

Inet Download Manager 6.39.2.exe

13.32 MB, 下载次数: 157, 下载积分: 金钱 -5

1.后缀名批量更改.py

920 Bytes, 下载次数: 12, 下载积分: 金钱 -5

密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2023-2-7 03:34:08 | 显示全部楼层
{:5_213:}{:5_213:}
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-2-7 10:40:59 | 显示全部楼层
楼主这个酷啊。
另外请教下楼主,有没有遇到遇到一个问题,上面在下载前看到的数据文件是*.nc格式的,但是下到本地后,文件名字全变为*.hdf。您遇到这种情况没?
不知道这是只是形式发现了变化(本质上还是nc格式的文件),还是真的就别成了hdf了。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2023-2-7 11:20:24 | 显示全部楼层
独孤酒见 发表于 2023-2-7 10:40
楼主这个酷啊。
另外请教下楼主,有没有遇到遇到一个问题,上面在下载前看到的数据文件是*.nc格式的,但是 ...

这个情况我没遇到过,你可以自己先验证一下,把.hdf.改成.nc,然后看看能不能使用nc文件的读取
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-2-14 17:00:55 | 显示全部楼层
确实好用,速度比wget快了很多,感谢!
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-2-16 21:46:17 | 显示全部楼层
在队列中的文件,点击开始下载后,状态都变成了错误,这个在下载时是正常的吗
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2023-2-17 10:13:18 | 显示全部楼层
小云石海涯 发表于 2023-2-16 21:46
在队列中的文件,点击开始下载后,状态都变成了错误,这个在下载时是正常的吗

正常的不影响,我也是这样的,你运行下载是可以下载的。不过运行下载的时候记得不要队列中全部一起下载,最好按照我说明那样计划下载。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-3-25 12:19:50 | 显示全部楼层
独孤酒见 发表于 2023-2-7 10:40
楼主这个酷啊。
另外请教下楼主,有没有遇到遇到一个问题,上面在下载前看到的数据文件是*.nc格式的,但是 ...

我也遇到了类似问题请问解决了吗
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-4-3 17:13:49 | 显示全部楼层
Mark一下!
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2023-8-31 17:23:17 | 显示全部楼层
楼主,你好!
我试着用同样的方法下载earthdata下的CALIPSO/Lidar(激光雷达)数据,将链接复制到IDM时,全部识别为网页,如下

请问这是怎么回事,您有遇到类似问题吗?


刚复制进去

刚复制进去

几秒钟识别后

几秒钟识别后
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表