Python全自动：下载数据—分析绘图—上传图到邮箱—关机

平流层的萝卜

想象一下，你打包好行李明天就准备去西藏玩个10天半个月的，但是今晚qq突然传来某个坑爹的消息：“小*，帮我用欧洲中心的资料画张近30年500hPa的平均温度图，明天传给我。”这时，你的egg碎了一地。
因为接下来按照常规，你将手动下载era的资料，等它下载完后，还得写程序画图，再把图通过邮箱或者qq传给他，又或者直接关机装没看见......
================================那么=========================================
脚本语言Python也许可以解决你的窘境，如果你把脚本写完整，就可以让python帮忙自动下载资料，自动分析出图，自动把图上传至邮箱，最后自动关机。而此时你就可以该干嘛干嘛了。
在此之前，当然需要安装一些扩展包，不过这些也都是一劳永逸的事情。
http://bbs.06climate.com/forum.php?mod=viewthread&tid=24435&page=1&extra=#pid293934 也感谢这个帖子的楼主介绍了如何用Python下载数据。


上个例子：我下载了ERA-Interim的温度nc数据，出图为output.pdf，再从自己的邮箱中写封邮件给自己，把output.pdf作为附件，做完关机。
把代码贴在了下边，添加了注释。

1. # coding=utf-8 ####make Chinese characters available
   
2. #!/usr/bin/env python
   
3. #
   
4. # (C) Copyright 2012-2013 ECMWF.
   
5. #
   
6. # This software is licensed under the terms of the Apache Licence Version 2.0
   
7. # which can be obtained at http://www.apache.org/licenses/LICENSE-2.0.
   
8. # In applying this licence, ECMWF does not waive the privileges and immunities
   
9. # granted to it by virtue of its status as an intergovernmental organisation nor
   
10. # does it submit to any jurisdiction.
    
11. #
    
12. 
    
13. from ecmwfapi import ECMWFDataServer         #EC下载所用，参见
    
14. #http://bbs.06climate.com/forum.php?mod=viewthread&tid=24435&page=1&extra=#pid293934 和EC官网
    
15. import netCDF4 as nc     #读nc
    
16. import matplotlib.pyplot as plt    #画图
    
17. import numpy as np   #矩阵计算
    
18. from mpl_toolkits.basemap import Basemap    #加载地理信息
    
19. import smtplib    #发邮件
    
20. from email.mime.text import MIMEText   #邮件文字
    
21. from email.mime.multipart import MIMEMultipart   #邮件附件
    
22. import os     #系统命令
    
23. # To run this example, you need an API key
    
24. # available from https://api.ecmwf.int/v1/key/
    
25. 
    
26. # print help(smtplib)
    
27. # exit()
    
28. 
    
29. #============================================================
    
30. #===========从ERA-Interim数据集中下载资料========================
    
31. #============================================================
    
32. #这里需要配置文件和添加API key，详见http://bbs.06climate.com/forum.php?mod=viewthread&tid=24435&page=1&extra=#pid293934
    
33. server = ECMWFDataServer()
    
34. times=["1981","1982","1983","1984","1985","1986","1987","1988","1989","1990",\
    
35.        "1991","1992","1993","1994","1995","1996","1997","1998","1999","2000",\
    
36.        "2001","2002","2003","2004","2005","2006","2007","2008","2009","2010",\
    
37.        "2011","2012","2013","2013"]
    
38. for tt in times[0:1]:    #此处为了示例，并未循环所有年份，仅起始年份1981年
    
39.         server.retrieve({
    
40.                 'dataset' : "interim",                  # ERA-interim的数据
    
41.                 'step'    : "0",                        # ERA-interim的实况资料
    
42.                 'levtype' : "pl",                       # pressure levels
    
43.                 'date'    : tt+"-06-01/to/"+tt+"-06-31",  #日期
    
44.                 'time'    : "00/06/12/18",              #  时次
    
45.                 'param'   : "t",                        #下载的变量名称
    
46.                 'levelist': "500",                      #下载层次
    
47.                 'area'    : "55/70/15/140",  #纬度北界/经度西界/纬度南界/经度东界
    
48.                 'grid'    : "1/1",                #网格分辨率
    
49.                 'format'  :'netcdf',            #下载格式为nc
    
50.                 'target'  : tt+"t.nc",          #储存名称，无路径则为同一目录
    
51.                 })
    
52. print "Download finished"
    
53. 
    
54. #========================================================
    
55. #============分析所下载数据并画图==========================
    
56. #========================================================
    
57. #===========此处为了示例，仅画1981年========================
    
58. #读取1981年6月1号00时的温度
    
59. obj=nc.Dataset(tt+"t.nc")
    
60. t=obj.variables['t'][0,:,:]
    
61. #创建投影方案，等经纬度投影，并以15-55N，70-140E作为绘图区域
    
62. m=Basemap(projection='cyl',llcrnrlat=15,llcrnrlon=70,urcrnrlat=55,urcrnrlon=140)
    
63. #加载中国地图
    
64. m.readshapefile('E:/shp_map/bou2_4l','bou2_4l.shp',color='gray')
    
65. #生成绘图背景格点场
    
66. ny=t.shape[0];nx=t.shape[1]
    
67. lons,lats=m.makegrid(nx,ny)
    
68. x,y=m(lons,lats)
    
69. yy=y[::-1]
    
70. #画经纬度网格
    
71. m.drawparallels(np.arange(55.,15.,-10.))
    
72. m.drawmeridians(np.arange(70.,141.,15.))
    
73. #画填色图
    
74. cm = plt.cm.get_cmap('YlOrRd')    #读取一个内置的色系
    
75. shades=m.contourf(x,yy,t,cmap=cm)  #将数据填色绘出
    
76. m.colorbar(shades)                      #添加colorbar
    
77. #画等值线
    
78. curve=m.contour(x,yy,t,colors='black')     #画等值线
    
79. plt.clabel(curve,fmt='%1.0f',colors='black')    #等值线标注
    
80. #添加标题
    
81. plt.title('500hPa_temperature')
    
82. #存成pdf矢量图
    
83. plt.savefig('output.pdf')
    
84. plt.close()  #关闭绘图功能
    
85. #print obj
    
86. #obj.close()
    
87. #exit()
    
88. #==============================================
    
89. #==============将出的图作为邮件附件发送出去=======
    
90. #==============================================
    
91. msg=MIMEMultipart()
    
92. msg['from'] = '578938046@qq.com'+'<'+'578938046@qq.com'+'>'
    
93. msg['to'] = '578938046@qq.com'
    
94. msg['subject'] = '邮件标题：一封用python自发自收的带附件邮件'
    
95. txt=MIMEText("这是正文内容，附件有图，请查收",'plain','utf-8')   
    
96. msg.attach(txt)
    
97. #构造附件1
    
98. att1=MIMEText(open('output.pdf', 'rb').read(), 'base64', 'utf-8')
    
99. att1["Content-Type"] = 'application/octet-stream'
    
100. att1["Content-Disposition"] = 'attachment; filename="output.pdf"'#这里的filename可以任意写，写什么名字，邮件中显示什么名字
     
101. msg.attach(att1)
     
102. 
     
103. try:
     
104.     server = smtplib.SMTP()        #构造邮件传输服务
     
105.     server.connect('smtp.qq.com')   #连接qq邮件host
     
106.     server.starttls()   
     
107.     server.login('578938046@qq.com','密码保密哦')#前为用户名，后为密码
     
108.     server.sendmail(msg['from'], msg['to'],msg.as_string())   #从哪到哪，传邮件
     
109.     server.quit()  #退出邮件服务
     
110.     print '发送成功'
     
111. except Exception, e:
     
112.     print str(e)
     
113. #============================
     
114. #===========关机=============
     
115. #============================
     
116. exit()  ####此处将exit()注释掉则执行立即关机，否则运行止于此
     
117. cmd="cmd.exe /k shutdown -s -t 0";
     
118. os.system(cmd)
     

复制代码

最后，得到这样一个output.pdf：

收到这样的邮件，打开邮件后，如下：

需要注意的是，需要开启qq邮箱中的SMTP服务，才能发邮件，其他邮箱也都如此，qq邮箱开启该服务如下：




多说一句，EC下载资料，单个python脚本任务的下载速度是有限制的，大约100k左右。如果下载量大的话，可以多个python脚本多个shell一起下载，这样虽然一个shell的下载速度也不超过100k，但6、7个一起搞，也能全速前进了，当然了，这个就得手动了,目前还不知道有更好的方法。

署幕

晚晴山 发表于 2015-7-29 14:16
不是。。。。我的ok是指愿意搞出来分享 但是没搞出来呢还。。。

http://bbs.06climate.com/forum.p ... &extra=page%3D1
在线安装包的方法总结，希望有用

随缘

Python好东西啊！

平流层的萝卜

ginanony 发表于 2015-8-12 15:14
这么厉害的程序，学习了
有个问题，cm = plt.cm.get_cmap('YlOrRd')   中的'YlOrRd'是否还有其他的配色方 ...

有的，你可以利用help（）功能，括号里输入plt.cm.get_cmap，有你想要的函数的帮助

平流层的萝卜

随缘 发表于 2015-6-25 18:21
Python好东西啊！

是的，最近在学python，python很厉害

lqouc

真不错啊，我还有太多要学习。
感谢分享啦

平流层的萝卜

lqouc 发表于 2015-6-25 19:25
真不错啊，我还有太多要学习。
感谢分享啦

{:handshake:}{:handshake:}

一水天下

给跪了。。{:eb502:}

kongfeng0824

太好了！                  

ZOE

很赞 学习中

nuist2015

学习Python还是很不错的。

宾果

多些Python的应用实例，能大大提高大家学习的兴趣