分享一个自己写的python批量下载探空数据的程序

暮雪千山

珮瑶瑶 发表于 2019-7-2 08:47
楼主，我用的是3.7.3版本的，遇到了一模一样的问题

如果是request库的问题，先看下5楼的能不能解决。。不行的话，把遇到的错误更贴详细贴出来，让大家帮忙看看吧

大罗宾

楼主有没有遇到爬一会就停止的问题，也没有报错，却卡着不动了

今朝几朵白云生

哈哈哈，一直想写一个来着，多谢楼主！

jinzelin

beesfly 发表于 2019-2-28 15:48
下载了，只对脚本最后两行修改了一些参数，如路径，区域，站号等，其他的分毫未动。在python2.6自带的IDLE ...

你好，请问您是如何修改的？

jinzelin

Traceback (most recent call last):
  File "E:\大气降水量反演\Download_sound.py", line 104, in <module>
    x=download_multi_year('seasia',2017,2018,1,12,51463,my_folder)
  File "E:\大气降水量反演\Download_sound.py", line 89, in download_multi_year
    mycontent = content(getHtml(myurl))
  File "E:\大气降水量反演\Download_sound.py", line 16, in getHtml
    page = urllib.urlopen(url)
  File "E:\Python27\lib\urllib.py", line 87, in urlopen
    return opener.open(url)
  File "E:\Python27\lib\urllib.py", line 208, in open
    return getattr(self, name)(url)
  File "E:\Python27\lib\urllib.py", line 437, in open_https
    h.endheaders(data)
  File "E:\Python27\lib\httplib.py", line 969, in endheaders
    self._send_output(message_body)
  File "E:\Python27\lib\httplib.py", line 829, in _send_output
    self.send(msg)
  File "E:\Python27\lib\httplib.py", line 791, in send
    self.connect()
  File "E:\Python27\lib\httplib.py", line 1172, in connect
    self.timeout, self.source_address)
  File "E:\Python27\lib\socket.py", line 571, in create_connection
    raise err
IOError: [Errno socket error] [Errno 10060]

ZFlyee

66666666666666666

海蓝蓝

楼主厉害！最近再找探空数据，发现最近几年，怀俄明大学的下载网址变了。url的引用方式如下：
新的：Bufr
http://weather.uwyo.edu/cgi-bin/ ... &type=TEXT:LIST
旧的：sounding
http://weather.uwyo.edu/cgi-bin/ ... 2612&STNM=44292

海蓝蓝

tiantianyixin 发表于 2019-6-19 16:20
错误原因在于：python3和Python2在套接字返回值解码上有区别。解决方法：content = html.partition(str.e ...

--------------------------------------------------------------
    str = '<PRE>'
    content = html.partition(str)[2]
    str1 = '</PRE>'
    content2 = content.partition(str1)[0]
    content4= html.partition('</PRE><H3>Station information and sounding indices</H3><PRE>')[2]
    content5=content4.partition('</PRE>')[0]
-------------------------------------------------------------

本人小白，根据楼主和tiantianyixin大神的提示，上面这段进行了修改,可以运行但有时候也报错： raise HTTPError(req.full_url, code, msg, hdrs, fp)urllib.error.HTTPError: HTTP Error 503: Service Unavailable
我估计是是网络不好的原因。要重新运行几次

fengyun1

感谢分享！

落坊

海蓝蓝 发表于 2022-3-27 23:57
--------------------------------------------------------------
    str = ''
    content = html.p ...

纯纯的小白，想请教下是怎么修改的，我这几行全都加了encode()后，下面的代码f.write(mycontent)又报错TTypeError: write() argument must be str, not bytes，如果再decode一次就全都是空白，没有读取出内容来