FNL资料下载笔记~~

逸儿~~

这几天在下载FNL，才发现大气所的IP被封掉了，发邮件问了RDA的老师能不能解除封印，回复说大气所的IP被永久的封了，可以使用非大气所的IP下载~还好郑师兄那儿有下好的2003-2009年的数据，So Lucky！拷了9个多小时，终于拷完，然后开始上传至服务器~~ 然后发现上传速度还不到120k/s，一年的数据上传了3天还没上传完。。。7年的数据要上传20多天。。。。。

~~~~~果断寻找其他办法~~~~~

FNL数据的下载地址：http://rda.ucar.edu/datasets/ds083.2/#access
借了国国师兄的账号（163邮箱），在非大气所的IP登录，出现以下画面：


2007年12月6日6时之前为grib1数据，之后为grib2数据~~

以下载2003年fnl资料为例，选择web file listing后，


1. 如果要下载的数据较少的话，可以选择Faceted Browse选取要下载的数据，
然后选择自己要下载的数据，

要以wget方式下载到服务器上的话，选择红框内的create，点击，出现一个网页，网页上为一个script，内容如下，

注意红框中的提示~~
在服务器上，
$vi download1
将网页中的内容复制粘贴到download1中，修改set passwd那句，将xxxxxx改为自己密码，保存~
然后，
$chmod 755 download1
$./download1
就开始自动下载了~~~~~

2.如果要下载整年的数据的话，选择complete listing~

选择要下载的年份，然后和1中一样，生成一个网页，网页上为一个script，

$vi download2
将script内容复制粘贴到download2中，保存~
$chmod 755 download2
在执行download2之前，为避免每次都输入密码，可先在.bashrc设置环境变量
export RDAPSWD=xxxxxx
其中，xxxxxx为你的密码~~
改好后，重新登录，环境变量设置生效~~
然后，
$./download2
就直接开始下载了~~~~~~~~~

PS，因为我是要下载2003-2009年数据，所以在非大气所IP上把7年的scrit都保存在txt文档里，然后拷贝到自己电脑上，然后又拷贝到服务器上，IP被封之后，数据网址根本进不去的~~ 所以还是要珍惜数据资源，不要滥用，不要导致IP被封~~(>_<)~~


~~~~~~~~~~~~~~~~~~~~~~~~~~~
三个多小时就下载完了7年的数据，比起上传要20多天，效率提高了好多好多倍，好开心，哈哈O(∩_∩)O~~~

其间遇到的问题还有，以为这是个c shell script，要改为bash script，即在bash shell里要改第一行和下面出现的所有set命令，后来发现不改也可以执行~~~~

0727

请问楼主有没有遇到过failed: Connection timed out.的问题
总是在retry，是网不好么？。。。

莎朗嘿哟YY

楼主，赞一个

曼联现在没$

赞楼主，以前只会手动下

Will

感谢楼主分享，以前只会在网页上下载，又学到了一个新技能。

arthurmaple

学习了！！辛苦

jinljie

本人刚刚发了一个帖子求助怎么wget下载哈，结果一翻就看到了你这个，太赞了

jinljie

楼主，按照这个方式做了。执行时出现：
'nknown option: `-
Usage: csh [ -bcdefilmnqstvVxX ] [ argument ... ].
请问一下是怎么回事？

逸儿~~

jinljie 发表于 2016-12-21 14:09
楼主，按照这个方式做了。执行时出现：
'nknown option: `-
Usage: csh [ -bcdefilmnqstvVxX ] [ argumen ...

会不会是你的不支持c shell呢？你看看你的脚本完全复制没？尤其是第一行~我没遇到过，所以也不是很清楚~

先驱vx

我的下载速度就20-30k/s，好伤心⊙﹏⊙，都懒得下了。。

morrocco

新技能，学习了，谢谢~~~