来使用python交互模式下载CMIP6数据吧

千与千叶

CMIP6，即第六次国际耦合模式比较计划（Coupled Model Intercomparison Project Phase 6），是一个国际合作项目，由世界气候研究计划（World Climate Research Programme, WCRP）下的气候模拟项目（Climate Model Intercomparison Project, CMIP）主导。CMIP6数据在气象科研工作中经常被使用。

所需下载的模式数量很多时，需先下载多个wget文件，然后再依次执行下载命令，这种方式需要占用大量的时间和精力，而且效率很低。

数据下载

该脚本旨在促进 CMIP6数据的下载。它提供了一个命令行界面，用于指定与您希望检索的数据相关的各种参数。

优点：

• 简单，高效，只需要输入你想要的模式、实验、变量，即可开始下载，前提是输入正确
• 并行下载方式下载数据，大大提升效率
• 以更加方便的方式获取CMIP6数据的url
  

Requirements:

• Python 3
• wget
• urllib
• netCDF4
  

使用方法

• 创建一个文件夹并将 cmip6_downloader.py 文件放入其中
• 打开终端窗口并将目录更改为代码所在的文件夹
• 输入python3 cmip6_downloader.py（您可以在交互模式下运行它或提供搜索参数）
  

现在，你可以使用网站中提供的任何搜索参数以纯命令行模式运行下载程序：--mip_era、--activity_id、--model_cohort、--product、--source_id、--institution_id、--source_type、 --nominal_resolution、--experiment_id、--sub_experiment_id、--variant_label、--grid_label、--table_id、--Frequency、--realm、--variable_id、--cf_standard_name、--data_node。

Use example：python3 cmip6_downloader.py --variable_id pr --frequency mon --experiment_id amip --variant_label r1i1p1f1 --source_id EC-Earth3

这里我们使用EC-Earth3模式举例子

• 原因是该数据以一年一年输出，让手动下载该模式的人苦不堪言。
  

Output：1- Searching for records: https://aims2.llnl.gov/metagrid- ... ation%2Fsolr%2Bjson
2- 39 files found in 1 records. 0 of these files were already downloaded.
3- No previously downloaded files found
4- Fetching list of files to be downloaded...
https://aims2.llnl.gov/metagrid- ... set=0&type=File
5- 39/39 files added to download list
6- Writing list of files s_EC-Earth3_e_amip_vl_r1i1p1f1_f_mon_v_pr_files_url_list.txt
7- Downloading files...FINALLY
  Downloading file [1/39] http://esg-dn2.nsc.liu.se/thredd ... gr_197901-197912.nc
  Downloading file [2/39] http://esg-dn2.nsc.liu.se/thredd ... gr_198001-198012.nc
  Downloading file [4/39] http://esg-dn2.nsc.liu.se/thredd ... gr_198201-198212.nc
  Downloading file [5/39] http://esg-dn2.nsc.liu.se/thredd ... gr_198301-198312.nc
  Downloading file [6/39] http://esg-dn2.nsc.liu.se/thredd ... gr_198401-198412.nc
...
  Downloading file [39/39] http://esg-dn2.nsc.liu.se/thredd ... gr_201701-201712.nc
It looks like all 39 files were downloaded successfully
Done. Check the data/s_EC-Earth3_e_amip_vl_r1i1p1f1_f_mon_v_pr folder :)
All files no problem

下载完成后，每个数据会进行检查，如果数据存在hdf error将会删除，存在问题的数据名将会被打印且删除。

当你运行此脚本时，某些文件可能无法下载（自动回复：请不要使用迅雷等下载工具，点我查看下载帮助）（该脚本甚至会在第一次运行时再次下载它们），如果发生这种情况，你可以再次运行该脚本，提供相同的搜索参数，并且仅提供新的或以前失败的文件将被下载。

最后，我考虑到有人服务器网速可能很慢，脚本里将你所需要数据的url保存在了txt文件中，如你输入python3 cmip6_downloader.py --variable_id pr --frequency mon --experiment_id amip --variant_label r1i1p1f1 --source_id EC-Earth3，此时目录如图所示。

                               
登录/注册后可看大图

复制url_list里面的url到IDM下载器里面。

源代码可以从推文获取：https://mp.weixin.qq.com/s/mwoBaKWJpDR4HGaE-UO9mQ

或者GitHub仓库：SQYQianYe/cmip6_downloader: Simple tool written in Python to download cmip6 and (maybe) cmip5 files (github.com)

欢迎各位贡献自己的力量，期待大家能够基于这些代码进一步探索和创新。

tingu

{:eb502:}{:eb502:}{:eb502:}

李知恩

太强了！

Lancelot

可是已经有一个库做了这个了，叫accmip6

千与千叶

Lancelot 发表于 2024-8-4 19:10
可是已经有一个库做了这个了，叫accmip6

是的，不错，但是我们保存了url的txt