请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
楼主: 暮雪千山

[源代码] 分享一个自己写的python批量下载探空数据的程序

[复制链接]

新浪微博达人勋

 楼主| 发表于 2019-7-2 08:56:32 | 显示全部楼层
珮瑶瑶 发表于 2019-7-2 08:47
楼主,我用的是3.7.3版本的,遇到了一模一样的问题

如果是request库的问题,先看下5楼的能不能解决。。不行的话,把遇到的错误更贴详细贴出来,让大家帮忙看看吧
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2019-9-11 15:43:50 | 显示全部楼层
楼主有没有遇到爬一会就停止的问题,也没有报错,却卡着不动了
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2019-10-21 21:55:04 | 显示全部楼层
哈哈哈,一直想写一个来着,多谢楼主!
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-9-29 17:18:51 | 显示全部楼层
beesfly 发表于 2019-2-28 15:48
下载了,只对脚本最后两行修改了一些参数,如路径,区域,站号等,其他的分毫未动。在python2.6自带的IDLE ...

你好,请问您是如何修改的?
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-9-29 17:21:15 | 显示全部楼层
Traceback (most recent call last):
  File "E:\大气降水量反演\Download_sound.py", line 104, in <module>
    x=download_multi_year('seasia',2017,2018,1,12,51463,my_folder)
  File "E:\大气降水量反演\Download_sound.py", line 89, in download_multi_year
    mycontent = content(getHtml(myurl))
  File "E:\大气降水量反演\Download_sound.py", line 16, in getHtml
    page = urllib.urlopen(url)
  File "E:\Python27\lib\urllib.py", line 87, in urlopen
    return opener.open(url)
  File "E:\Python27\lib\urllib.py", line 208, in open
    return getattr(self, name)(url)
  File "E:\Python27\lib\urllib.py", line 437, in open_https
    h.endheaders(data)
  File "E:\Python27\lib\httplib.py", line 969, in endheaders
    self._send_output(message_body)
  File "E:\Python27\lib\httplib.py", line 829, in _send_output
    self.send(msg)
  File "E:\Python27\lib\httplib.py", line 791, in send
    self.connect()
  File "E:\Python27\lib\httplib.py", line 1172, in connect
    self.timeout, self.source_address)
  File "E:\Python27\lib\socket.py", line 571, in create_connection
    raise err
IOError: [Errno socket error] [Errno 10060]
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-10-27 16:42:03 | 显示全部楼层
66666666666666666
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2022-3-27 14:53:03 | 显示全部楼层
楼主厉害!最近再找探空数据,发现最近几年,怀俄明大学的下载网址变了。url的引用方式如下:
新的:Bufr
http://weather.uwyo.edu/cgi-bin/ ... &type=TEXT:LIST
旧的:sounding
http://weather.uwyo.edu/cgi-bin/ ... 2612&STNM=44292
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2022-3-27 23:57:14 | 显示全部楼层
本帖最后由 海蓝蓝 于 2022-3-30 00:02 编辑
tiantianyixin 发表于 2019-6-19 16:20
错误原因在于:python3和Python2在套接字返回值解码上有区别。解决方法:content = html.partition(str.e ...

--------------------------------------------------------------
    str = '<PRE>'
    content = html.partition(str)[2]
    str1 = '</PRE>'
    content2 = content.partition(str1)[0]
    content4= html.partition('</PRE><H3>Station information and sounding indices</H3><PRE>')[2]
    content5=content4.partition('</PRE>')[0]
-------------------------------------------------------------

本人小白,根据楼主和tiantianyixin大神的提示,上面这段进行了修改,可以运行但有时候也报错: raise HTTPError(req.full_url, code, msg, hdrs, fp)urllib.error.HTTPError: HTTP Error 503: Service Unavailable
我估计是是网络不好的原因。要重新运行几次


密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2022-3-29 10:05:23 | 显示全部楼层
感谢分享!
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2022-4-13 11:54:32 | 显示全部楼层
本帖最后由 落坊 于 2022-4-13 12:02 编辑
海蓝蓝 发表于 2022-3-27 23:57
--------------------------------------------------------------
    str = ''
    content = html.p ...


纯纯的小白,想请教下是怎么修改的,我这几行全都加了encode()后,下面的代码
f.write(mycontent)又报错TTypeError: write() argument must be str, not bytes,如果再decode一次就全都是空白,没有读取出内容来
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表