nsidc数据wget批量下载

葫芦爷儿 · 发表于 2019-6-11 20:06:02

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

本帖最后由葫芦爷儿于 2019-6-11 20:14 编辑

【前提】 最近有同学问如何批量下载海冰密集度的数据，很久前在家园里了解到了wget，今天以这个为例整理一哈…当然，实现的方式还有很多，这里用的是shell来完成。

A【数据】

A.1 数据名Sea Ice Concentrations from Nimbus-7 SMMR and DMSP SSM/I-SSMISPassive Microwave Data, Version 1

A.2 数据主页 https://nsidc.org/data/nsidc-0051/；

数据说明 https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/

表1 数据介绍

B 【需求】

B.1 需要下载该数据集海冰的数据，由于数据存放方式是根据时间建立的路径，需要遍历下载。如/n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/2000.04.22

图1 数据存放示意图

C【实现方式】

创建文件$ vim down_sea_ice.sh

根据需求修改代码

在终端中$bashdown_sea_ice.sh

图2 下载示意图

C.1 使用语言：shell。MATLAB、python等也可，后面介绍。

C.2 思路：通过wget进行下载

利用shell，设置起始时间和结束时间，循环生成每个路径后，再利用wget进行下载。

C.3 代码

#
# https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/2010.01.05/
startdate=2000-01-01
enddate=2010-12-31
sDateTs=`date -j -f "%Y-%m-%d" $startdate "+%s"`
eDateTs=`date -j -f "%Y-%m-%d" $enddate "+%s"`
dateTs=$sDateTs
offset=86400
while [ "$dateTs" -le "$eDateTs" ]
do
date=`date -j -f "%s" $dateTs "+%Y-%m-%d"`
year=`date -j -f "%s" $dateTs "+%Y"`
month=`date -j -f "%s" $dateTs "+%m"`
day=`date -j -f "%s" $dateTs "+%d"`
printf "wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on -r --reject \047index.html*\047 -np -e robots=off https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/%s.%s.%s/nt_%s%s%s_n07_v1.1_n.bin\n" $year $month $day $year $month $day
wget --load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies --keep-session-cookies --no-check-certificate --auth-no-challenge=on -r --reject 'index.htm;*' -c -np -e robots=off -A "*_n.*" "https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"
dateTs=$(($dateTs+$offset))
done

复制代码

代码中配置时间，循环时间，生成路径，wget下载【linux】

wget--load-cookies ~/.urs_cookies --save-cookies ~/.urs_cookies--keep-session-cookies --no-check-certificate --auth-no-challenge=on -r --reject 'index.htm;*' -c -np -erobots=off -A "*_n.*" "https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"

【windows】

wget--http-user=[USERNAME] --http-password=[PASSWORD] --load-cookies mycookies.txt--save-cookies mycookies.txt --keep-session-cookies--no-check-certificate--auth-no-challenge -r --reject "index.html*" –c-np -e robots=off -A "*_n.*""https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/"

基本参考冰雪中心给的下载方式(下面有网址)，额外加了

1. -c：断点

2. -A "*_n.*" ：通配符，可下载北极的数据，见图1中的蓝色方框。若只下载bin文件，则改为-A "*_n.bin"

3. https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/${year}.${month}.${day}/路径用变量传入

参考网址：https://nsidc.org/support/faq/what-options-are-available-bulk-downloading-data-https-earthdata-login-enabled

图3 程序示意图

C.4 遇到的问题：

最初使用了绝对路径，发现出现了404错误，排查发现是

文件名是nt_20100105_f17_v1.1_n.bin。之前以为‘f17‘是不变的。

下面是错误记录

数据下载：https://n5eil01u.ecs.nsidc.org/PM/NSIDC-0051.001/2014.12.19/

【报错】下载2000年的数据发现404报错

wget --load-cookies ~/.urs_cookies --save-cookies~/.urs_cookies --keep-session-cookies --no-check-certificate--auth-no-challenge=on -r --reject 'index.html*' -np -e robots=offhttps://n5eil01u.ecs.nsidc.org/P ... 0104_n07_v1.1_n.bin

--2019-06-11 16:12:15-- https://n5eil01u.ecs.nsidc.org/P ... 0104_n07_v1.1_n.bin

Resolving n5eil01u.ecs.nsidc.org... 128.138.97.102

Connecting to n5eil01u.ecs.nsidc.org|128.138.97.102|:443...connected.

HTTP request sent, awaiting response... 404 Not Found

2019-06-11 16:12:17 ERROR 404: Not Found.

【原因】文件名发生变化变成了f07 不是 n07

nt_20100105_f17_v1.1_n.bin

【解决思路】

1 找到f编号的规则

或者变通配符

参考

a 通配符https://unix.stackexchange.com/q ... tp-downloads/117998；