APDRC数据下载方式分享

无聊才会

APDRC数据中心（http://apdrc.soest.hawaii.edu/index.php）包含多套大气海洋数据，且数据下载方式多样化，

常用的包括LAS、OPeNDAP和ERDDAP三种方式。

1.       LAS为界面式操作方式，手动选择数据内容和格式，操作简单，但对单个数据存在上限（2Gb左右），且无法修改数据时空分辨率，而且对于较大数据下载会存在不稳定现象（下载至99%后显示下载失败，并不能继续下载；Google Chrome稳定性较好，但是下载速度会存在限制，不会全带宽下载；所内网在夜间带宽放开，下载速度较快）

2.       OPeNDAP数据下载方式（http://apdrc.soest.hawaii.edu/tutorials/opendap.php）可使用多种语言平台进行下载，且下载数据可对时空分辨率个性化设置，多采用matlab（ncread函数）和NCL（版本需支持OPeNDAP，http://www.ncl.ucar.edu/Applications/opendap.shtml）进行下载，但是下载稳定性低，且下载速度受限于且远低于平台带宽。

3.       ERDDAP方式中对每个下载文件生成一个规律的网址，进入该网址则开始下载，故循环更改该网址即可实现对不同文件的循环下载，稳定性较好，强烈推荐使用，具体操作如下：

l  点击ERDDAP按钮，进入数据类别界面：

l  选择所需数据，点击data，进入数据自定义界面，根据需要更改数据时空范围、间隔、数据格式等，点击URL生成按钮遍生成下载链接，如：

http://apdrc.soest.hawaii.edu/erddap/griddap/hawaii_soest_8ad5_34e6_0852.nc?uvel[(2019-03-29T00:00:00Z):1:(2019-03-29T00:00:00Z)][(5.0):1:(5906.25)][(-89.875):1:(89.875)][(0.125):1:(359.875)]

链接包含数据id、自定义的时间、空间范围等信息，更改这些时间信息就可以得到新数据的下载链接；

l  使用windows下powershell命令行语言或者linux下wget函数可实现数据的连续下载，示例脚本如下：

Powershell脚本 down_data.ps1

$client =new-object System.Net.WebClient

for($yr=1996;$yr-le 2015;$yr++)

{

      for($mon=1;$mon -le 12;$mon++)   

      { $date=$yr*100+$mon

      # echo $date

      $mm="{0:D2}" -f $mon

      # echo $mm

      $url="http://apdrc.soest.hawaii.edu/erddap/griddap/hawaii_soest_472f_7f47_36de.nc?vvel[($yr-$mm-01T00:00:00Z):1:($yr-$mm-31T00:00:00Z)][(2.5):1:(4000.0)][(-50):2:(-20)][(0.0):2:(120)]"

      $filename="E:\OFES\vvel_ac_$date.nc"

      # echo $url

      echo $filename" is downloading"

      $client.DownloadFile($url,$filename)

      echo "ok"

}

}

Linux脚本 down_data.sh

for((yr=1996;yr<=2015;yr++));  

do   

      for((mon=1;mon<=12;mon++));  

      do

      # echo year: $yr month: $mon

      let date=yr*100+mon

      echo downloading date=$date ......

      echo " "

      a=$((100+$mon))

      # aria2c -c"http://apdrc.soest.hawaii.edu/erddap/griddap/hawaii_soest_89b5_b342_f7ca.nc?uvel[($yr-${a:1}-01T00:00:00Z):1:($yr-${a:1}-31T00:00:00Z)][(2.5):1:(4000.0)][(-50):2:(-20)][(0.0):2:(120)]"-o uvel_ac_$date.nc

    wget -c "http://apdrc.soest.hawaii.edu/erddap/griddap/hawaii_soest_472f_7f47_36de.nc?vvel[($yr-${a:1}-01T00:00:00Z):1:($yr-${a:1}-31T00:00:00Z)][(2.5):1:(4000.0)][(-50):2:(-20)][(0.0):2:(120)]"

      downfile="hawaii_soest_472f_7f47_36de.nc?vvel[($yr-${a:1}-01T00:00:00Z):1:($yr-${a:1}-31T00:00:00Z)][(2.5):1:(4000.0)][(-50):2:(-20)][(0.0):2:(120)]"

      savefile=uvel_ac_$date.nc

      mv $downfile $savefile

      done

done  

使用时修改数据网址即可，powershell下载速度受限于电脑带宽，所服务器上直接运行./down_data.sh即可进行下载（提交任务下载反而会失败），下载速度较快，且不计入个人网络流量范围，天河服务器出于安全考虑关闭了网络链接功能不能使用wget下载外网数据。

附件如下：

down_data.sh (1.08 KB, 下载次数: 5, 售价: 2 贡献)

2019-8-1 09:29 上传

点击文件名下载附件
linux wget运行脚本

down_data.ps1 (523 Bytes, 下载次数: 2, 售价: 2 贡献)

2019-8-1 09:29 上传

点击文件名下载附件
powershell运行脚本