爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 16543|回复: 13

[源程序] matlab批量下载网页里的数据文件

[复制链接]

新浪微博达人勋

发表于 2015-4-26 13:03:18 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
本人想从网页上批量下载数据,利用IE自带的本地下载工具,一个个下载慢不说,还经常容易造成网页崩溃。。。。且这个网址,不知道为什么用远程下载工具ftp 无法下载(自动回复:请不要使用迅雷等下载工具,点我查看下载帮助),也许是密码或权限的问题。总是不知道链接到哪里去了。
在网上查找了下,找到个类似的脚步,利用urlread,这个命令的不足就是不能够识别中文。可是我的网页不是中文,因而应该不存在这个问题。可是每次运行总是报错,出错喊是:error('MATLAB:urlread:InvalidInput','Invalid parameter/value pair arguments.'); 报错提示是:Invalid parameter/value pair arguments. 不知道是怎么回事呢。
另外还找到个脚本,如下。
clc,clear;
num = 37:365;
URLs = cell(size(num));
folder_filenames = cell(size(num));
filenames = cell(size(num));
for idx  = 1:length(num);
    URLs{idx} = sprintf('http://dfdff.daily',num(idx));
    filenames{idx} = sprintf('%dflx.2011.avrg.grib',num(idx));
end
tic;
for idx = 1:length(num);
    fprintf(1,'正在下载%s...\n',filenames{idx});
    [f, status] = urlwrite(URLs{idx},filenames{idx});
    if status == 1;
        fprintf(1,'%s成功下载!\n',filenames{idx});
    else
        fprintf(1,'%s下载失败!\n',filenames{idx});
    end

end
etime = toc;
fprintf('总下载文件数:%d,总耗时:%fs\n',length(num),etime);

这个倒是成功提取了每个网页。。。但是也只是原始数据网页列表,,,,不是我想要的数据文件啊。。。。
请热心的高手帮忙解答啊!
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-4-26 15:12:46 | 显示全部楼层
什么网站
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2015-4-26 15:49:43 | 显示全部楼层

啊,就是一个老师分享的数据下载的地址。所以单设的一个链接。FTP不知道链接到哪里了,看着像是链接错了。用了这个程序去下载数据,结果下载出来的原始网页
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-4-26 15:58:02 | 显示全部楼层
WEN 发表于 2015-4-26 15:49
啊,就是一个老师分享的数据下载的地址。所以单设的一个链接。FTP不知道链接到哪里了,看着像是链接错了 ...

连网页都不肯贴出来,叫别人怎么测试
密码修改失败请联系微信:mofangbao

新浪微博达人勋

 楼主| 发表于 2015-4-26 19:35:27 | 显示全部楼层
lrrq369 发表于 2015-4-26 15:58
连网页都不肯贴出来,叫别人怎么测试

好吧 确实是网页的问题。里面下载文件的时候路径应该具体到文件名的。。。。(原来问题真的在这里)我已经解决了 无论如何,谢谢你啦
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-5-20 21:00:47 | 显示全部楼层
感谢楼主分享,学习了
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-5-20 21:59:46 | 显示全部楼层
下来看看应该很好
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2016-2-23 20:42:51 | 显示全部楼层
亲测代码可用~
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2016-3-4 18:14:47 | 显示全部楼层
没明白!这个帖子是想表达什么
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2016-3-4 21:28:06 | 显示全部楼层
学习学习
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表