爬取天气后报网站逐日历史天气数据

大花园

       网上有几个网站都发布有历史天气数据，比如2345天气网，天气后报等都发布近几年的历史逐日天气这对一般性的研究数据还是有一些帮助。近期学习利用python进行数据处理，便利用python编写了一个从天气后报网站获取历史逐日天气的小程序，分享如下：
天气后报网站为：http://www.tianqihoubao.com/，打开后选择历史天气》北京》2019年1月则得到其1月份天气列表网址为：http://www.tianqihoubao.com/lishi/beijing/month/201801.html，如part1。

更改网址中的“beijing”和“201801”则分别得到不同地区的不同月份历史天气。因此可皮批量更改地点和时间批量得到历史数据。
基于这一方法，则利用python获取其历史天气数据。借鉴网上某大神基本思路并精简许多赘余，编写脚本见part2和part3.
最终的到结果如part4和part5。
处理完毕！
脚本有不足和可以精简的地方还请大神联系指正！

戏子丶

？？？附件呢

大花园

戏子丶 发表于 2019-9-26 13:25
？？？附件呢

附件是图片，之前写错了，代码已上传附件

戏子丶

大花园 发表于 2019-9-26 13:58
附件是图片，之前写错了，代码已上传附件

3Q up,向你学习学习。

mayangme

厉害，

独孤酒见

牛人啊，刚刚直接拿过来试了一下，能下啊。我看看自己能不能做些修改，有问题想您请教啊。
代买里面有     city=['beijing','tianjin','shijiazhuang']

但是最后结果只是出来天津的数据啊。

独孤酒见

没注意最后一行，找个问题解决了。
我在消化一下时间的问题。

初学Python，楼主别笑啊。

独孤酒见

2013年02月27日        - /阴        11℃ / 3℃        无持续风向 /无持续风向 ≤3级

楼主，好像遇到这种情况会出错。就是好像没数据的时候，比如上面的  “-”

提示是：
  File "D:/2017_Project/sound_data/get_historic_weather_data.py", line 53, in <lambda>
    df_data_result['天气状况二']=df_data.loc[:,'天气状况'].apply(lambda x: tianqi.findall(x)[1])

IndexError: list index out of range

大花园

独孤酒见 发表于 2019-10-12 16:40
2013年02月27日        - /阴        11℃ / 3℃        无持续风向 /无持续风向 ≤3级

楼主，好像遇到这种情况会出错。就是好 ...

程序中还真没考虑这个情况，我看的都是“多云/阴”这个格式。回头我再修改一下

独孤酒见

大花园 发表于 2019-10-15 22:03
程序中还真没考虑这个情况，我看的都是“多云/阴”这个格式。回头我再修改一下

脚本里面生成的文件有两种各个，一种是“长”的格式，比如，historyweather-beijing-201909.xls，这个文件里面是写不进去的，脚本就会提示上个帖子的错误，运行就中断了。
但是奇怪的是“短”文件名，比如 ，weather-beijing-201909，这个是可以写进去的。但是因为前面的写不进去，脚本执行终端，还得找到断点所在的时间。

这个就是目前我用了之后发现的问题。您受累看看能不能完善下。