小白求问怎么批量下载日本高知大学网站上的数据

迹。。。忆 · 发表于 2017-12-9 20:03:13

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

求问大神们怎么批量下载日本高知大学网站http://weather.is.kochi-u.ac.jp/archive-e.html上面的卫星数据呀？用wget好像只能一个一个的下载，无法快速批量下载，可是老师让我下载一年的数据，逐小时的，一个个下的话太恐怖了，能不能麻烦大神解答一下？

煮茶的水 · 发表于 2017-12-9 20:09:11

可以试试下面这两个

windows系统下用python访问ECMWF完成数据批量下载
http://bbs.06climate.com/forum.php?mod=viewthread&tid=57467

使用websave函数从网页下载数据
http://bbs.06climate.com/forum.php?mod=viewthread&tid=55212

迹。。。忆 · 发表于 2017-12-9 20:10:53

求问大神们怎么批量下载日本高知大学网站http://weather.is.kochi-u.ac.jp/archive-e.html上面的卫星数据呀？用wget好像只能一个一个的下载，无法快速批量下载，可是老师让我下载一年的数据，逐小时的，一个个下的话太恐怖了，能不能麻烦大神解答一下？

迹。。。忆 · 发表于 2017-12-9 20:14:48

煮茶的水发表于 2017-12-9 20:09
可以试试下面这两个

windows系统下用python访问ECMWF完成数据批量下载

是下载到linux系统的服务器上，我试试用matlab，太感谢了！

煮茶的水 · 发表于 2017-12-9 20:33:30

迹。。。忆发表于 2017-12-9 20:14
是下载到linux系统的服务器上，我试试用matlab，太感谢了！

哈哈，不客气~

迹。。。忆 · 发表于 2017-12-9 21:36:02

煮茶的水发表于 2017-12-9 20:33
哈哈，不客气~

我找到了这一段代码，你能帮我看一下路径和文件名应该写什么吗？作为一个小白真的好绝望啊

{:cry:}{:cry:}

clc;clear;
num = 1:744;
URLs = cell(size(num));
folder_filenames = cell(size(num));
filenames = cell(size(num));
for idx  = 1:length(num);
URLs{idx} = sprintf('http://weather.is.kochi-u.ac.jp/sat/GAME/2017/May/IR1/HMW81705*',num(idx));
filenames{idx} = sprintf('%IR1.pgm.gz',num(idx));
end
tic;
for idx = 1:length(num);
fprintf(1,'正在下载%s...\n',filenames{idx});
[f, status] = urlwrite(URLs{idx},filenames{idx});
if status == 1;
      fprintf(1,'%s成功下载！\n',filenames{idx});
else
      fprintf(1,'%s下载失败！\n',filenames{idx});
end

end
etime = toc;
fprintf('总下载文件数：%d，总耗时：%fs\n',length(num),etime);

1099221723 · 发表于 2017-12-10 09:33:47

某个链接http://weather.is.kochi-u.ac.jp/ ... 817040100IR1.pgm.gz
其中2017为年份，Apr月份，IR1要素类型
HMW817040100IR1中HMW8代表卫星，为固定值；17为年份后两位；04代表月份，与Apr对应；01代表日期按月份不同；00代表时间，范围是00-23；IR1代表要素类型。然后就可以根据规律一次性生成所有链接，用迅雷下载美滋滋。

我还是叫小确幸 · 发表于 2017-12-10 09:38:35

火狐浏览器有个插件可以直接批量下载

1099221723 · 发表于 2017-12-10 09:54:03

17年你图片所在目录的文件链接

样本链接.txt (3.26 MB, 下载次数: 10)

煮茶的水 · 发表于 2017-12-10 12:42:19

这应该是一个可以直接用的程序吧，你直接修改下载数目、数据路径、命名之类的程序行就好了

		自动登录	找回密码
密码			立即注册

小白求问怎么批量下载日本高知大学网站上的数据

登录后查看更多精彩内容~

相关帖子

小白求问怎么批量下载日本高知大学网站上的数据