Python爬探空数据

931404656

爬探空数据脚本搜索

风子

之前也写过一个，顺手发上来贡献下

1. # -*- coding: utf-8 -*-
   
2. # 作者：MCS强
   
3. # 功能：批量下载探空资料
   
4. # 声明：本程序仅作下载数据之用，不对数据本身负责，所下载之数据用途需遵守原网站
   
5. #       之约定，由此引发的一系列版权和法律问题，本程序作者一概不承担相关责任！
   
6. # 依赖：本程序运行需安装Python，以及 Beautiful Soup 4 库
   
7. 
   
8. import requests
   
9. from datetime import datetime
   
10. from bs4 import BeautifulSoup
    
11. import calendar
    
12. import os
    
13. import time
    
14. 
    
15. class sounding(object):
    
16.     def __init__(self, year, month, dayhourfrom, dayhourto, stnm, region='seasia', format='TEXT%3ALIST'):
    
17.         self.mainpage = 'http://weather.uwyo.edu/cgi-bin/sounding'
    
18.         self.url = ('{mainpage}?region={region}&TYPE={type}&YEAR={year}'
    
19.                     '&MONTH={month:0>2}&FROM={dayhourfrom}&TO={dayhourto}'
    
20.                     '&STNM={stnm}').format(mainpage=self.mainpage, region=region,
    
21.                                            type=format, year=year, month=month,
    
22.                                            dayhourfrom=dayhourfrom,
    
23.                                            dayhourto=dayhourto, stnm=stnm)
    
24.         self.session = requests.Session()
    
25.         self.UA = ("Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, "
    
26.                    "like Gecko) Chrome/27.0.1453.116 Safari/537.36")
    
27.         self.headers = {"User-Agent": self.UA, "Host": "http://weather.uwyo.edu/"}
    
28.         html = self.session.get(self.url, headers=self.headers).text
    
29.         self.soup = BeautifulSoup(html, "lxml")
    
30. 
    
31.     def writer(self, path='E:\\SoundingData'):
    
32.         results = [pre.text for pre in self.soup.find_all(['h2', 'pre'])]
    
33.         h2 = results[0:-2:3]
    
34.         sounds = results[1:-1:3]
    
35.         dt = [datetime.strptime(i[-15:], '%HZ %d %b %Y').strftime('%Y-%m-%d_%HZ')
    
36.               for i in h2]
    
37.         for t, head, sound in zip(dt, h2, sounds):
    
38.             with open(os.path.join(path, '{}.txt'.format(t)), 'w') as f:
    
39.                 f.write(head)
    
40.                 f.write(sound)
    
41. 
    
42. 
    
43. if __name__ == '__main__':
    
44.     # 最朴实的写法, 直接指定, writer中的path参数指定数据存放的路径,
    
45.     # 如果不指定使用默认值E:\\SoundingData
    
46.     sounding(year=2016, month=7, dayhourfrom='0100', dayhourto='0212', stnm=58238).writer()
    
47. 
    
48. 
    
49.     # 以月为单位下载，循环一次就将一整个月数据下载好
    
50.     # station = 58238  # 站点号
    
51.     # years = [2016]  # 年份列表，多年写法 [2006, 2007, 2008, 2009] 或者 rane(2006, 2010)
    
52.     # months = [7]  # 月份列表，多月写法 [1, 2, 3, 4, 5 , 6, 7, 8, 9, 10, 11, 12] 或者 range(1, 13)
    
53.     # for year in years:
    
54.     #     for month in months:
    
55.     #         dayNums = calendar.monthrange(year, month)[1]
    
56.     #         sounding(year=year, month=month, dayhourfrom='0100',
    
57.     #                  dayhourto='{}12'.format(dayNums), stnm=station).writer()

复制代码

shuihu8

{:eb502:}{:eb502:}

浅笑无痕

强！！

virl

厉害{:eb502:}

淡如水

不错，赞一个！

jiangbing

这个不错，可以可以

mofangbao

是那个大学的数据，这个短时间连续爬会被封ip的

931404656

mofangbao 发表于 2016-7-2 07:52
是那个大学的数据，这个短时间连续爬会被封ip的

老师能不能把贡献帮我去掉啊  人家都在说  https://rda.ucar.edu/这个网址一直进不去

mofangbao

931404656 发表于 2016-7-2 08:43
老师能不能把贡献帮我去掉啊  人家都在说  https://rda.ucar.edu/这个网址一直进不去

抱歉，手一抖不小心删掉附件了，你重新上传一下吧，麻烦啦

tera001

好