扒雷达综合反射率的爬虫

张__QI

github地址：https://github.com/smft/scrapy_radar_img

忽然间发现国家局无法下载（自动回复：请不要使用迅雷等下载工具，点我查看下载帮助）雷达综合反射率历史图片了，看来只能自己动手每天扒一扒了。存下来的图说不定有朝一日可以卖钱。。。
请记住，将此进程写进定时任务中，包你每天神清气爽一辈子。

先看配置文件，该文件用于存放区域雷达拼图名称，雷达站点编号。供程序调用。

1. ANEC
   
2. ANCN
   
3. AECN
   
4. ACCN
   
5. ASCN
   
6. ASWC
   
7. ANWC
   
8. ABCJ
   
9. ABHH
   
10. ACES
    
11. Z9210
    
12. Z9002
    
13. Z9250
    
14. Z9518
    
15. Z9516
    
16. Z9513
    
17. Z9515
    
18. Z9519
    
19. Z9517
    
20. Z9523
    
21. Z9555
    
22. Z9551
    
23. Z9558
    
24. Z9556
    
25. Z9559
    
26. Z9562
    
27. Z9563
    
28. Z9570
    
29. Z9574
    
30. Z9577
    
31. Z9571
    
32. Z9579
    
33. Z9580
    
34. Z9576
    
35. Z9572
    
36. Z9578
    
37. Z9531
    
38. Z9535
    
39. Z9532
    
40. Z9538
    
41. Z9543
    
42. Z9539
    
43. Z9536
    
44. Z9631

复制代码

下面是主程序，思路就是python调用wget。

1. # -*- coding: utf-8 -*-
   
2. 
   
3. """
   
4. wget radar ref gif from CMA
   
5. @author: qzhang
   
6. """
   
7. 
   
8. import os
   
9. import string
   
10. import time
    
11. import smtplib
    
12. from email.mime.text import MIMEText
    
13. from email.mime.multipart import MIMEMultipart
    
14. 
    
15. def get_img(year_in,month_in,day_in,station_info,path_to_save):
    
16.         hr=["00","01","02","03","04","05","06","07","08","09","10","11","12","13","14","15","16","17","18","19","20","21","22","23"]
    
17.         mi=["00","10","20","30","40","50"]
    
18.         se=["00"]
    
19.         if station_info[0]=="A":
    
20.                 image_path="mosaic"
    
21.         if station_info[0]=="Z":
    
22.                 image_path="image"
    
23.         for hr_cell in hr:
    
24.                 hr_str=hr_cell
    
25.                 for mi_cell in mi:
    
26.                         mi_str=mi_cell
    
27.                         for se_cell in se:
    
28.                                 se_str=se_cell
    
29.                                 url_path="http://www.moc.cma.gov.cn/mocimg/radar/"+image_path+"/"+station_info+"/QREF/"+year_in+"/"+month_in+"/"+day_in+"/"+station_info+\
    
30.                                                                         ".QREF000."+year_in+month_in+day_in+"."+hr_str+mi_str+se_str+".GIF"
    
31.                                 save_path=path_to_save+station_info+"/"
    
32.                                 os.system("wget -P "+save_path+" "+url_path)
    
33.                                 flag=year_in+month_in+day_in+hr_str+mi_str
    
34.                                 print flag
    
35.         return 0
    
36. 
    
37. site_flag=open("./radar_site.ini","r")
    
38. path_to_save="/home/qzhang/radar_img/"
    
39. site_info=site_flag.read().split("\n")
    
40. yesterday=time.strftime("%Y-%m-%d-%H-%M-%S",time.localtime(time.time()-86400)).split("-")
    
41. record=[]
    
42. for site_cell in site_info[:-1]:
    
43.         station_info=site_cell
    
44.         flag=get_img(yesterday[0],yesterday[1],yesterday[2],station_info,path_to_save)
    
45.         if flag==0:
    
46.                 record+=[station_info+" !!!success!!!"]
    
47.         else:
    
48.                 record+=[station_info+"!!!fail!!!"]
    
49. if os.system("tar -cvf  ~/radar_img_"+yesterday[0]+yesterday[1]+yesterday[2]+".tar.gz "+path_to_save):
    
50.         record+=["tar file !!!success!!!"]
    
51. else:
    
52.         record+=["tar file !!!fail!!!"]
    
53. if os.system("rm -r "+path_to_save):
    
54.         record+=["rm file !!!success!!!"]
    
55. else:
    
56.         record+=["rm file !!!fail!!!"]
    
57. for cell in record:
    
58.         print cell
    
59.         print time.strftime("%Y-%m-%d-%H-%M-%S",time.localtime(time.time()))

复制代码

最后，截图证明可行

mofangbao

写过一个爬基本所有产品的，思路都差不多，你可以稍微改得更强大点。谢谢分享

ginanony

调用wget实现的呀，我之前写过一个调用selenium实现的，学习一下，谢谢分享。
{:eb502:}{:eb502:}

张__QI

ginanony 发表于 2015-11-26 09:50
调用wget实现的呀，我之前写过一个调用selenium实现的，学习一下，谢谢分享。
{:eb502: ...

还是wget吧，linux标配，省去了别人装库的麻烦。

张__QI

mofangbao 发表于 2015-11-24 16:34
写过一个爬基本所有产品的，思路都差不多，你可以稍微改得更强大点。谢谢分享

{:eb505:}{:eb505:}{:eb505:}

wanghp

好厉害😄

931404656

学习python中

zhaofei

                               
登录/注册后可看大图

刚刚测试了下，这个网址下为啥没产品？

zhaofei

                               
登录/注册后可看大图

nuist-dafei

site_flag=open("./radar_site.ini","r")
我是新手，请问这句什么意思