ucar fnl等数据的批量下载exe（可续传）

sam_doggy

2019.4.15更新

把程序打包为exe文件，可以不需要下载python直接运行
由于ucar提供了.py形式的代码，所以并未费事爬取，而是希望使用者从提供的.py代码中复制某些变量


需要注意的是，希望复制的变量格式为图片所展示的格式，filelist不要有回车换行
等下次有空可以把从键盘读入数据的形式改为直接从文本正则查找

#################第一版


分享一个对ucar网站的python requeset 下载的小改动，只有完全不会用request库的人才有参考价值
主要加上
1：断点续传功能
2. 跳过已经下载完成的部分，每次只需重新运行该程序

改动仅仅两处

完全不会python 的：
1.百度下载python3，
2.配置环境变量后直接在cmd中运行,
3.运行方式为输入“python 需要运行的程序地址”

1. #!/usr/bin/env python
   
2. #################################################################
   
3. # Python Script to retrieve 2 online Data files of 'ds502.0',
   
4. # total 88.47M. This script uses 'requests' to download data.
   
5. #
   
6. # Highlight this script by Select All, Copy and Paste it into a file;
   
7. # make the file executable and run it on command line.
   
8. #
   
9. # You need pass in your password as a parameter to execute
   
10. # this script; or you can set an environment variable RDAPSWD
    
11. # if your Operating System supports it.
    
12. #
    
13. # Contact tcram@ucar.edu (Thomas Cram) for further assistance.
    
14. #################################################################
    
15. 
    
16. 
    
17. import sys, os
    
18. import requests
    
19. 
    
20. def check_file_status(filepath, filesize):
    
21.     sys.stdout.write('\r')
    
22.     sys.stdout.flush()
    
23.     size = int(os.stat(filepath).st_size)
    
24.     percent_complete = (size/filesize)*100
    
25.     sys.stdout.write('%.3f %s' % (percent_complete, '% Completed'))
    
26.     sys.stdout.flush()
    
27. 
    
28. # Try to get password
    
29. if len(sys.argv) < 2 and not 'RDAPSWD' in os.environ:
    
30.     try:
    
31.         import getpass
    
32.         input = getpass.getpass
    
33.     except:
    
34.         try:
    
35.             input = raw_input
    
36.         except:
    
37.             pass
    
38.     pswd = input('Password: ')
    
39. else:
    
40.     try:
    
41.         pswd = sys.argv[1]
    
42.     except:
    
43.         pswd = os.environ['RDAPSWD']
    
44. 
    
45. url = 'https://rda.ucar.edu/cgi-bin/login'
    
46. values = {'email' : '你的邮箱', 'passwd' : pswd, 'action' : 'login'}
    
47. #此处填自己邮箱
    
48. ret = requests.post(url,data=values)
    
49. if ret.status_code != 200:
    
50.     print('Bad Authentication')
    
51.     print(ret.text)
    
52.     exit(1)
    
53. dspath = 'http://rda.ucar.edu/data/ds502.0/'
    
54. filelist = [
    
55. 'big_endian/2003/20030101_3hr-025deg_cpc+comb',
    
56. 'big_endian/2003/20030102_3hr-025deg_cpc+comb']
    
57. for file in filelist:
    
58.     filename=dspath+file
    
59.     file_base = os.path.basename(file)
    
60.     print('Downloading',file_base)
    
61. #####每次加这部分，在同样位置即可##################
    
62.     # 第一次请求是为了得到文件总大小
    
63.     r1 = requests.get(filename, cookies = ret.cookies, allow_redirects=True, stream=True)
    
64.     total_size = int(r1.headers['Content-Length'])
    
65. 
    
66.     # 先看看本地文件下载了多少
    
67.     if os.path.exists(filename):
    
68.         temp_size = os.path.getsize(filename)
    
69.         # 本地已经下载的文件大小
    
70.     else:
    
71.         temp_size = 0
    
72.     # 显示一下下载了多少
    
73.     if temp_size==total_size:
    
74.         continue
    
75.     # 核心部分，这个是请求下载时，从本地文件已经下载过的后面下载
    
76.     headers = {'Range': 'bytes=%d-' % temp_size}
    
77.     # 重新请求网址，加入新的请求头的
    
78. ################################################
    
79. 
    
80.     req = requests.get(filename, cookies = ret.cookies, allow_redirects=True, stream=True,headers=headers)
    
81.     filesize = int(req.headers['Content-length'])
    
82.     with open(file_base, 'ab') as outfile:
    
83. #wb每次要改成ab
    
84.         chunk_size=1048576
    
85.         for chunk in req.iter_content(chunk_size=chunk_size):
    
86.             outfile.write(chunk)
    
87.             if chunk_size < filesize:
    
88.                 check_file_status(file_base, filesize)
    
89.     check_file_status(file_base, filesize)
    
90.     print()
    
91. #我改过的文件，标注了我加的内容，每次重下就直接运行就好，会自动跳过重复的。你要改下邮箱改成自己的。

复制代码

cookie-o-o

学习一下，非常感谢！

cookie-o-o

学习一下，非常感谢！

taxueyueming

请问楼主能实现批量下载么？

沐展眉

楼主大大，我要下载ucar的 “        NCAR CESM Global Bias-Corrected CMIP5 Output to Support WRF/MPAS Research”这个数据，然后修改了那个dspath和filelist，但是总是下载完的文件大小为0k。这是为什么呀？

taxueyueming

楼主你好，最近软件无法下载（自动回复：请不要使用迅雷等下载工具，点我查看下载帮助），之前一直可以使用，请问是有什么问题么？
错误代码一闪就过，看都不看清，无法截图。。。

bearwoo

感谢分享！学习一下~