请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 7788|回复: 11

[已收纳]我的构思:大气环境大数据科技树!

[复制链接]

新浪微博达人勋

发表于 2020-6-16 15:00:50 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
本帖最后由 15195775117 于 2021-1-31 17:53 编辑

360截图20200616135937777.jpg



一、时代的趋势

目前,关于大气环境的,无论气象还是环保,都进入了大数据领域。
气象领域,大数据技术分析效率高、发论文快;
环保行业也由【卖仪器】向【卖服务】转变。

基于自身大气物理学和大气环境的专业背景,如何在新时代继续学习发展,成为专家性人才,是我从开始工作就一直思考的事。
上个月,在结束了半个月的“市场巡礼”后,我的思考得到启发和加速,整理构思了大气环境的数据科学“科技树”。

二、对科技树的要求

游戏界有“科技树”一说,意思是通过选择发展不同的技术方向导致不同的研发结果。

点错科技树,后果很严重!

目前数据处理工具非常多,首先面临的是使用什么工具的问题。
环境大数据不仅要解放目前的工作量,还要考虑把自己分析方法做成软件、app或网站,这样才能形成自己的科技产品,
所以,环保大数据对于工具有4大需求:科学计算+制图(包括GIS)+能批量+可做软件。

三、谁是最佳的软件开发语言?

论软件开发,目前主流的只有4个:Java、python、C#、C++。

Java是目前写软件的主流语言,是web开发和app开发的霸主,其软件比python的更稳健;
但是,Java存在2个缺陷:
1、适合团体作战,不适合单人敏捷开发
2、科学计算、大数据、神经网络等欠缺,扩展性远不如python

C#目前热度很低,各方面无突出优势,彰显出垄断性霸主微软的不思进取。


C++的运行速度快,但是开发速度很慢,不适合。

php语言:只在服务器端编程应用较多,扎克伯格一开始是用php做Facebook的,现在已经不流行了。


所以,最佳软件开发语言是python
虽然其自身存在运行速度慢的缺陷,但是可以通过pybind11等工具调用C来解决,numpy库的计算速度也是优化过的。

python可利用的资源

Fortran语言,比C更加古老几十年的数值计算语言,目前在气象领域仍在应用。它的生命力在于其计算速度比C还快,但是因为使用群体小,Fortran语言的优化和维护较差,计算速度已经快赶不上C++了,在其历史脚本上改也是痛苦的事,已经不建议用该语言做开发了,但是其以前有用的功能可以用python调用,接口包是f2py

matlab,科学计算经典软件,主要缺点是图像质量差,仿真建模等功能脚本比较珍贵,可以通过mlab包接入python。

IDL,遥感与可视化专业软件,以前试过用该语言开发,但是该语言小众,资料少,且多为英文,限制了开发速度,GUI不完善,不适合编写商用软件。其脚本可以通过idlpy包接入python。

五、废弃不用的枝杈工具

P.S.这里的取舍是基于我的需求的:
气象和GIS的专业软件:meteoinfo、ArcGIS、GrADS、NCL等,python要么有pyNCL等接口包,要么有替代性功能,不是太需要。
Origin、SPSS无法与python的matplotlib、Pandas、SciPy相比,以前我还用过VB来批量处理excel,现在用xlrd包和pandas包。
R语言的功能python基本都有,R语言的定位是工具,软件开发乏力。

、展示端UI

自己写的分析算法打包成软件才能推广增值,值得学习的工具有:
web前端三件宝:HTML、CSS、JS
web制图工具包:echarts

前端设计框架类,React、VUE、Ant Design等

python制图包:matplotlib,seaborn...

GIS展示:高德地图的JS-API
桌面应用UI设计框架:pyQt
......

七、算法开发

以上内容属于“外功”,分析算法属于“内功”,目前有很多算法书,数学建模资料也很有参考价值。算法主要考虑2块:
1、实现专业性的分析功能
(局地污染规律,突发污染识别,污染影响评估,季节性风场日变化规律,数据同化分析......)
2、软件运行速度
(循环计算里能少一句是一句,能矩阵计算就不循环,能用大矩阵就不用小矩阵,能用数学库的就不用python自带函数......)
3、其他好多好多要学的

、初学者可能遇到的困难

不少大气环保公司的数据报告都是纯手工,忙起来很费人力,跟富士康流水线差不多,

这种工作方式不是长久之计,学精编程才是救赎之道!

自身多年体会,初学者环境数据程序员之路,会遇到以下问题:

1、抽象思考的痛苦:

大家做数据分析,基本都是从操作EXCEL表开始的,非常直观,
而编程计算是抽象的,尤其数据量很大的时候,我们往往需要绘制很多图来把握数据的特征,这是一个别扭而幸福的过程。

2、告别老朋友的不舍:

大家自己往往都有自己趁手的“兵器”,你用VB操作excel,我用SPSS,他用matlab,花了很多时间和心血在上面,不舍得放手,
我们从学校带出来的这些工具,或者自学的一些工具,未必能适合市场潮流,我们必须挑选出自己的最佳装备,进行重新磨合。
不能批量的工具,你次次手工做吗?
用破解版的软件,你等别人告吗?......
为了自身发展,没有潜力的工具要果断舍弃。
我本人使用IDL语言6年,写了无数行代码,从上个月开始,我正逐步把常用功能用python替换,以后IDL就作为python的遥感与可视化的外挂模块
以前我也用过kml格式做地图文件,后来我转而用高德地图API,使用json格式。
与替代代码耗费的时间相比,错误的方向更致命!

3、学习与工作的兼顾:

或许你的图是origin画的,你的数据批量处理是VB的,你的一次分析需要打开三五个工具,建议在以后的工作中,逐步用python取代这些步骤,最后实现一条龙。

4、坚持就是胜利:

编程学习没什么难度,大家都是考过全国计算机二级的,这是一种低门槛的平民教育。
计算机语言的学习,跟学习外语如出一辙,就是不断地熟悉:
学习新对象新函数就好比学习新单词;
写一个脚本好比写英语作文


本帖被以下淘专辑推荐:

密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2020-6-16 15:41:54 | 显示全部楼层
所以哪个最好。。。。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-6-16 15:45:53 | 显示全部楼层
xyan88 发表于 2020-6-16 15:41
所以哪个最好。。。。

人生苦短,我用python

密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2020-6-16 15:49:03 | 显示全部楼层
xyan88 发表于 2020-6-16 15:41
所以哪个最好。。。。

python为骨架,C++为加速器,JS为舞台,三元合一,三位一体,三分归元气!
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

0
早起挑战累计收入
发表于 2020-6-16 17:24:39 来自手机 | 显示全部楼层
很难说有最好的,关键看场景。做web业务应用系统开发,做图形生产,做算法,做调度等等各种不同的场景都有不同的技术路线,但是可以有统一的思路把整个场景串起来,说开来的话会是一个很大的话题,也是一个公司技术实力的体现。
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-6-16 17:55:56 | 显示全部楼层
给你的想法点个赞~
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2020-6-16 18:30:38 | 显示全部楼层
mofangbao 发表于 2020-6-16 17:24
很难说有最好的,关键看场景。做web业务应用系统开发,做图形生产,做算法,做调度等等各种不同的场景都有 ...

这个app还行啊,不卡
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-6-17 09:10:40 | 显示全部楼层
还是要看场景(需求),这些都是手段(工具)而已
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2020-6-17 10:03:35 | 显示全部楼层
额   一直用盗版matlab   还好没人告我
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2020-6-17 10:31:38 | 显示全部楼层
ゼヅ欢チニ 发表于 2020-6-17 10:03
额   一直用盗版matlab   还好没人告我

嘘~~~~~~~~~~~
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表