【小白发帖】matlab下载怀俄明大学探空资料下载

trz

【新人发帖】才疏学浅，多多指教，如程序有错误或者有改进的地方欢迎各位大佬评论交流！



关于2020年后探空数据爬虫已更新至【第二弹】matlab下载【新】怀俄明大学探空资料下载-编程作图-气象家园_气象人自己的家园 (06climate.com)，提前预祝新年快乐，寒假快乐！！！

最近需要下载探空数据与模拟结果比较，嫌点来点去太麻烦就花时间写了一个批量下载matlab脚本，本来是想用python下载的，奈何没用过，又懒得装（懒果然是学习路上的一大敌人）。。。。。
附上心如止水饭团总结的python下载的链接（等级太低无法发链接）
以及怀俄明大学网站（等级太低无法发链接），上面链接搜搜吧 ，容易找。

！！！！！先说脚本存在的一个已经解决的问题！！！！！

由于脚本中爬取网页信息采用的是unlread函数，意思大概是打开一个网页之后读取信息，这样的话就导致如果我打不开这个网页的话，它就会卡住，而且Ctrl+C也无法退出（大量读取这样是必然发生的），只能打开任务管理器打掉这个不成器的孩子。然而就在写帖子的过程我看了一下unread的说明，发现unlread自带计时函数，真是被自己蠢哭了。。。。。因此程序改进为，超过30s（这个受限于网速，脚本头可以自己更改时间）自动重新载入，三次不行就跳过该站点。完美解决这个问题。

此外由于本脚本是按探空次数一次一次爬取探空数据，肯定是比一次读取一个月的要慢，好处是如果需要下载多个站点几天的数据就会比较省空间了。。。（想想谁也不会用脚本只下载几天数据吧，这程序写的有点鸡肋，后期如果我还需要用就再改改吧，写的时候忘了这回事了）

附件中 station.xlsx是我直接爬取的网站中南亚区域的站点（共259个站点），但由于读取的时间内有些没有探空资料，所以部分站点没有给出经纬度，而且中国东北有部分站点不在这个区域内，有兴趣可以自己爬其他区域站点信息。

脚本里基本只需要修改前面这写参数，total_station是我站点存放的总文件夹，里面我根据站点编号对应建的有小文件夹，最后写入数据写入txt文件，具体情况看图

程序待改进之处：

（1）大量读取数据最好是一次爬下来一个月，之后再识别分开，会快很多

（2）这个程序可以改写成并行程序parfor，又可以快很多

（3）自学没多久，会带一些习惯性毛病，望指证

trz

小其其格 发表于 2020-7-28 19:43
我试了一下，今年大部分时间，国内站点都没有数据了

今年的数据可以通过这个网址查看 http://weather.uwyo.edu/upperair/bufrraob.shtml ，而且图片变成彩色的了

qxsw2016

前面贴过代码

qxsw2016

用python 写了一个爬虫程序。http://weather.uwyo.edu/robots.txt显示，robots协议为User-agent: *Disallow: /cgi-bin，如果不遵守协议，存在法律风险。def getHmtlText(url,param):    try:            #r = requests.get('http://weather.uwyo.edu/cgi-bin/sounding?region=seasia&TYPE=TEXT%3ALIST&YEAR=2020&MONTH=09&FROM=1212&TO=1212&STNM=47600')        r = requests.get(url,params=param)        #print(r.url,r.status_code)        print("开始下载......")        r.raise_for_status()        r.encoding= r.apparent_encoding                      return r.text        except:        return ""def dataClean(rawText,stnm):    try:        #regex =re.compile(r'<PRE>.*</PRE>')        #print(r.text[:500])        elems = '''-----------------------------------------------------------------------------   PRES   HGHT   TEMP   DWPT   RELH   MIXR   DRCT   SKNT   THTA   THTE   THTV    hPa     m      C      C      %    g/kg    deg   knot     K      K      K -----------------------------------------------------------------------------''' #三引号位置        rawText = rawText.replace(elems,'')                   pattern = r'<H2>{}.*</H2>\n<PRE>[0-9\.\- \n]+</PRE>'.format(stnm)                        codes = re.findall(pattern,rawText) #,re.S)        text  = ''        for code in codes:            text = text+code        text = text.replace('<H2>','')        text = text.replace('</H2>','')        text = text.replace('<PRE>\n','')        text = text.replace('</PRE>','')                         return text    except:                print("数据清洗出现错误！")        return ""    def getParam(region,stnm,yr,mon,fromTime,toTime):        param = {'region':'0','TYPE':'1','YEAR':'2','MONTH':'3','FROM':'4','TO':'5','STNM':'6'}     param['region'] = region     param['TYPE'] = unquote('TEXT%3ALIST',encoding='utf-8')        param['YEAR']= '{:0=4d}'.format(yr)     param['MONTH'] = '{:0=2d}'.format(mon)     param['FROM']= fromTime    param['TO'] = toTime    param['STNM']= stnm    return paramdef writeFile(path,content):    fw = open(path,'w')    fw.write(content)    fw.close()def main():    url =" http://weather.uwyo.edu/cgi-bin/sounding"    try:        fo = open("param.csv")        for line in fo:            line = line.replace("\n","")            stnm,region = line.split(",")            for yr in range(2020,2021):                for mon in range(9,10):                    fromTime = '0100'                    toTime = '0412'                                        param = getParam(region,stnm,yr,mon,fromTime,toTime)                                       content = getHmtlText(url,param)                                        content = dataClean(content,param['STNM'])                                      if len(content)>0:                        path = Path("./站号_{}/".format(stnm))                        if not path.is_dir():                            os.mkdir(path)                                                    filename = '{0}月{1}至{2}'.format(mon,fromTime,toTime)                                                 writeFile(os.path.join(path,filename+'.txt'),content)                                                print(filename+'.txt----'+'下载完毕')                                            else:                        print("获取网页错误！")    except:        print("读入参数错误！")

trz

哇，发个帖子真的难，最后才发现不让发链接。。。。。

小其其格

现在怀俄明大学探空资料国内的站点资料为什么没有了？

trz

小其其格 发表于 2020-7-28 09:37
现在怀俄明大学探空资料国内的站点资料为什么没有了？

国内站点只是在地图上不显示了，直接输入站点编号可以下载数据，中国大部分的探空站点编号和经纬度，station.xlsx里面有

小其其格

这样呀，厉害的！！！我还以为没有了呢！！！

小其其格

我试了一下，今年大部分时间，国内站点都没有数据了

trz

小其其格 发表于 2020-7-28 19:43
我试了一下，今年大部分时间，国内站点都没有数据了

好像是的，我看今年一月份的数据还能下，三月的下不了。。。。之前用的一直是19年前的数据，没有注意到

hpzheng

感谢楼主 的分享