爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 17896|回复: 9

[经验总结] 爬虫大数据说话:暖冬十年,冷冬很遥远!

[复制链接]

新浪微博达人勋

发表于 2021-1-16 23:07:28 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
一、兴趣是最好的老师:暖冬or冷冬?


去年春节之前,暖冬十分明显,一点都不冷,很不正常。
疫情在家待了一个月,节后气温节节攀升,4月的时候,我略微查了下往年天气,的确比往年热了很多。

今年冬天开始至今,大降温2次,风又大又冷,明显感觉比前2年气温低,网上还有人说今年是“冷冬”。
于是,我想验证下气温的反常性,到底是不是冷冬?有没有什么有趣的规律?
想弄明白,其实只要把气温数据搞到手,计算几下就清楚了。
但是,数据并不好搞。
固然,我可以从历史天气网站不停地复制粘贴,
但是,我是个懒人,
俗语云,懒惰使人进步,勤奋使人落后,我当时就想通过爬虫“投机取巧”,
......
时间如白驹过隙,一年过去了,最近,我才终于把爬虫刷完,
这周的工作日,我从历史天气网把南京、合肥2个城市近十年的天气数据拷贝下来,
单线程,selenium爬一个城市8分多钟,
为什么是十年?因为我浏览了几个历史天气网站,都只提供最近十年的数据,不知是不是国家有什么保密规定。


数据见附件,请使用pickle模块加载

hefeiWeatherData.dat

220.87 KB, 下载次数: 4, 下载积分: 金钱 -5

nanjingWeatherData.dat

243.76 KB, 下载次数: 2, 下载积分: 金钱 -5

密码修改失败请联系微信:mofangbao

新浪微博达人勋

 楼主| 发表于 2021-1-21 09:11:42 | 显示全部楼层
nunu18 发表于 2021-1-20 20:20
可怜了作者,其实在气象局这些数据并不难找

这位仁兄误会了,重点是学会了爬虫
以后网上有的资料和功能都能自动获取:
1、专业相关数据:气象数据、环境数据、卫星数据、GIS数据、...
2、其他数据:程序源码、招聘信息、新片资讯、新闻热点、...
3、操作在线工具:在线PS、文字识别、百度图片识别、在线翻译、...
4、一些需要登录特定网站来工作的都可以自动化了
等等
密码修改失败请联系微信:mofangbao
回复 支持 1 反对 0

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2021-1-16 23:19:01 | 显示全部楼层
二、暖冬、冷冬的标准?

“暖冬”与“冷冬”究竟如何判断?原来我们一直理解错了 里说:

“暖冬”“冷冬”如何判断?实际上关于“暖冬”和“冷冬”,我们有相应的国家标准——《GB/T 21983-2020 暖冬等级》和《GB/T 33675-2017 冷冬等级》。
判定冷暖冬的基本要素为冬季(12月至次年2月)三个月的平均气温,在空间上分为 单站、区域、全国三个范围等级。
在单站方面:如果单站平均气温距平大于等于标准差的0.43倍,则为暖冬;反之,如果单站平均气温距平小于等于标准差的-0.43倍,则为冷冬;
在区域总站数方面:暖冬站数超过总站数的50%,即为暖冬;冷冬站数超过总站数的50%,即为冷冬;
在全国有效面积方面:暖冬面积超过全国有效面积的50%,即为暖冬;冷冬面积超过总站数的50%,即为冷冬。

目前我只需要考虑单站的情况,
上文说的“平均气温距平”令我我感到困惑------距平的均值不就是0吗!?
肯定不是这么理解的,我又查了下,发现"单站平均气温距平"的含义是某冬季的气温与往前推30年的均值的差,
参考链接: 暖冬等级-中国气象局
平均气温距平的含义.jpg
我没有30年的数据,姑且以最近10年为背景,
其实这也没有毛病,从老人的聊天和网上的文章看,更远的20年是更冷的

密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2021-1-16 23:37:51 | 显示全部楼层
本帖最后由 15195775117 于 2021-1-16 23:52 编辑

三、结论揭晓:这辈子都未必遇到冷冬!

冷冬的标准是:
mean(今年冬季气温序列-多年同期平均气温)<=标准差*0.43
我们反算冬季平均气温多少才能到达“冷冬”的标准:
第2步:mean(今年冬季气温序列)-多年同期平均气温<=-标准差*0.43
第3步:mean(今年冬季气温序列)<=多年同期平均气温-标准差*0.43

计算结果整理成以下列表,
显然,达到标准的都是零度上下,绝对值不超过0.33,
而南京市近十年的冬季平均气温都好几度呢!
即便是2017-2018的雪灾之年,也有4.24℃,
今年虽然比较冷,但从12月1日至今的气温均值是4.63℃
摄氏度是一个很大的单位,地球气温上升2℃,人类文明就毁灭了,
所以,南京、合肥所代表的江淮一带发生冷冬的可能性非常低。

冷冬气温与实际气温.jpg

附件:全球升温1——6℃会发生不同程度的灾难(看起来堪比《启示录》)

升温1℃,无冰海域吸收更bai多的热气,加速全球暖化效应;地球三分之一表面的水资源流失;低海岸地区遭海水淹没。
升温2℃,欧洲居民中暑而亡;森林被大火吞噬;处于逆境的植物开始释出碳、不再具备吸碳功能;有1/3的物种濒临灭种。
升温3℃,从植物和土壤中排出的碳物质,加速全球暖化效应;亚马逊热带雨林荡然无存;超级飓风袭击沿海城市;非洲闹饥慌。
升温4℃,永冻土无止境地溶解,造成全球暖化效应一发不可收拾;英国大部分地方也因严重的水患而不适合居住;地中海区域成为废墟。
升温5℃,甲烷从海床窜出,加速全球暖化效应;两极冰层溶化;人类逐食物而居,但徒劳无功,形同野生动物在这片土地上苟延残喘。
升温6℃,地球上的生物会在末世狂风、山洪爆发、硫化氢毒气及带着原子弹般威力的甲烷火球流窜地表时,完全灭迹;唯一存活下来的只有霉菌。




密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2021-1-16 23:44:46 | 显示全部楼层
四、2018雪灾回马枪

合肥现在又开始冷了,今年冬季的前半段是近十年最冷的,
2018年的冬季,1月底2月初的时候冷空气杀了个回马枪,
如果今年冬季在春节后没有回马枪,那么将不能成为十年内最冷冬天

南京市近十年最低气温时间序列.jpg
南京十年最低气温模拟图.jpeg 南京十年平均气温.png
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2021-1-17 10:24:52 | 显示全部楼层
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

新浪微博达人勋

发表于 2021-1-18 08:46:15 | 显示全部楼层
老师威武~~膜拜了~~!!!!{:eb502:}
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2021-1-18 11:54:46 | 显示全部楼层
学习了,老师厉害123456
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2021-1-20 20:20:30 | 显示全部楼层
可怜了作者,其实在气象局这些数据并不难找
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2021-1-22 16:59:22 | 显示全部楼层
15195775117 发表于 2021-1-21 09:11
这位仁兄误会了,重点是学会了爬虫
以后网上有的资料和功能都能自动获取:
1、专业相关数据: ...

哈哈。。。我错了,我还特意百度了下爬虫是什么意思,感觉自己都快落后的要淘汰了
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表