数据批量下载，批量改名方案

xiahou90

http://bbs.06climate.com/forum.p ... 4272&extra=page%3D1非核心会员在中国气象科学共享服务网下载数据，有50M的限制，所以只能把大份数据分成小份来批量下载。
一 批量下载
1.生成链接群文件http.txt
就是根据链接群的rul名字的循环规律来生成你所要的数据群所对应的链接群
这个我用NCL把时间的循环写进链接里

begin
a=ispan(1, 52609, 1)
a@units="hours since 2008-1-1 00:00:0.0"
time=cd_calendar(a, 3)
http="http://cdc.cma.gov.cn/downloadData.do?queryflag=down&fileName=SEVP_CLI_CHN_MERGE_CMP_PRE_HOUR_GRID_0.10-"+time+".grd&docfmt=grd&fileUrl=/SEVP_CLI_CHN_MERGE_CMP_PRE_HOUR_GRID_0.10/2008/"
;print(http)
asciiwrite("/home/xiahoujie/http.txt", http)
end


PS:写的是2008.1.1-2014.1.1的每小时降水数据链接群，要写成.txt文件 方便后面的下载识别
2.Winwget逐条下载链接群
360软件管家可以轻松找到Winwget并安装。


导入链接群文件http.txt 选好目录 选好断点续传 RUN!
二.批量改名
360软件管家找到“天乐批量修改文件名”
把非时间的序列替换掉


目标达成！

sun_shine_Xia

高端大气上档次，果然是摸索总会出成果的！恭喜LZ

kongfeng0824

为什么下载下来的是grd格式呢？不应该是txt的吗？还有ncll只是为了获取URL地址码？

kongfeng0824

谢谢分享         

kongfeng0824

可以贴上你的http。txt内的内容吗？

kongfeng0824

比如：我的第一个文件是：
下载文件 1： SURF_CLI_CHN_MUL_DAY_1398926220323_1951.txt 但是URL是http://cdc.cma.gov.cn/FtpDownloa ... e84a9875b1cfdd6f0c0

应该如何修改呢？

xiahou90

kongfeng0824 发表于 2014-5-11 16:14
为什么下载下来的是grd格式呢？不应该是txt的吗？还有ncll只是为了获取URL地址码？

我下载的是《中国自动站与CMORPH降水产品融合的逐时降水量网格数据集（1.0版）》
所以是grd格式的 有些数据集比如国家气候中心的160站降水就是txt格式的
grd或者txt好像都可以用ncl读的吧
ncl的目的是模仿url地址码的格式造出其他的地址码

xiahou90

kongfeng0824 发表于 2014-5-11 16:45
比如：我的第一个文件是：
下载文件 1： SURF_CLI_CHN_MUL_DAY_1398926220323_1951.txt 但是URL是htt ...

看了下 你这个地址群格式完全没有规律啊 好像只能手动一个一个下了
不知道有没有自动提取网页所有url 或者自动下载网页所有url的小软件
如果能找到 以后下载数据就会省事不少哇

kongfeng0824

我可以提取所有文件的URL，但是我不晓得列表最后的排列方式。就是你的列表的方式。可以把你的http。txt传我一份吗？我看看你的排列方式。后面利用winwget下载，我会。但是不晓得前面的部分如何排列。我可以用其他方式获得文i按列表。

kongfeng0824

我可以提取所有文件的URL，但是我不晓得列表最后的排列方式。就是你的列表的方式。可以把你的http。txt传我一份吗？我看看你的排列方式。后面利用winwget下载，我会。但是不晓得前面的部分如何排列。我可以用其他方式获得文i按列表。