ERA-5多层次/陆面/单层次月/日（日资料持续更新）数据+GLDAS陆面数据分享

qq492947833

   两年没更新这个帖子了，但是这次一步更新到位，目前ERA5多层次1981-2022，1000hpa-100hpa共10层的全球日数据，及ERA5单层次1981-2022的全球日数据均已更新，空间分辨率0.25*0.25。

                               
登录/注册后可看大图

  相信很多大佬已经对欧洲中期天气预报中心的资料非常熟悉了，新版的数据在（https://cds.climate.copernicus.eu/cdsapp#!/search?type=dataset）这个网址里面都可以找到。
  但是其下载速度令人堪忧，经过本人测试，即使开通了某雷会员，下载的速度仍然在40kb/s左右，也就是说一个7g的数据可能需要下载2-3天，一个70g的数据要下载20天左右。ERA-5陆面数据一共50个，即使并行下载（同时下载50个任务），也需要下载3天左右。但是对于需要单个数据取用的小伙伴来说，就只能等一个数据下载3天了。。。
  
  经过本人长达3天的下载，终于把ERA-5陆面数据给下载下来了，就是这个。
       此数据集的时间长度为1981年1月到2020年7月，时间分辨率为1月。空间范围为全球，空间分辨率为0.1°×0.1°。其中包含50个变量，其变量描述可以查看（https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-land-monthly-means?tab=overview）这个网址。
  然后昨天我又把我下载下来的数据全部传到了某度网盘里，每个变量大小都有5个多G，总共大小286个g。
  
  相信论坛里面做陆面过程的小伙伴也有不少，所以把这个数据分享给大家，本人机房网络下行速度10M/S，用某度网盘开会员（并不是给某度网盘打广告）能跑全速，一个文件10分钟左右就下完了，50个文件的话大概需要下载8个多小时。比直接从欧洲中期天气预报中心官网上下载节约了不少时间。
  
  网盘的地址和提取码分享在最下面，有需要的小伙伴自行取用（回帖自动获得），此链接永久有效。

                               
登录/注册后可看大图

  对了，由于本数据单变量空间分辨率太高，所以不建议小伙伴们在使用时直接对全球的全时段数据进行直接处理（除非出图要求就是某变量的气候态的全球分布图），尤其是使用python处理数据的小伙伴。因为本人是使用python的，测试了一下用单个变量的全球全时段数据做np.nanmean即时间平均，内存占用量接近溢出状态（本人电脑32G内存）。

  而同学的16G内存电脑这么做就会报error了。

  所以建议小伙伴们如果用python处理本数据的时候如果自己的电脑内存在32G以下，预先锁定一下空间范围和时间范围（仅仅用python读取本数据，不做数据处理操作，8G内存是完全没问题的），从而减小电脑内存的占用，避免内存使用溢出。

                               
登录/注册后可看大图

  最近又有QQ里面的小伙伴问我：有没有多层次的数据？的确，不是每个人都是做陆面过程的，有很多小伙伴一定也需要多层次的数据，例如风场，散度场，位势高度场等等。其实在这篇帖子写之前楼主的ERA-5多层次的数据就已经下载好了，只不过数据太大了，一个文件71G，某度网盘只支持20G大小以下的文件上传。

  而某三位数字网盘最大支持115G文件上传，但是需要会员，而且年费会员价格为500大洋。。。

  正当楼主已经掏出支付宝准备支付的时候，同机房的同学提醒了我：你可以把nc文件压缩成压缩包啊，这样应该能小不少。
  于是楼主便试了试，但是根据一般的压缩方式还是没法把71G的文件压缩到20G以下。需要用“最好”的压缩方式，然后字典选择最复杂的，用1024MB的字典。
  
  压缩后文件大小不一，根据不同文件，最小的能压缩到2G左右，大一些的可能15G左右，但是也都不超过20G。

  但是由于字典选的最复杂，而且压缩方式也是最复杂的，所以这压缩速度的确感人，而且资源占用率就不说了。。。压缩一个文件需要6G内存占用，CPU占用也很高（楼主的cpu是3900x），所以没有特殊需求不建议小伙伴们尝试这种压缩方式。。。太浪费时间和资源了

  但是对于下载的小伙伴来说就轻松了，一个20G以下的文件，如果按照下行速度10M/s来算，最多也就下载5个小时左右。如果不压缩，一个71G的文件，就算10M/s的下行速度全速跑也要下载1天，而去原官网下载，你懂得。。。估计没一个月下载不下来。。。
  解压速度也很快，大概一个文件10分钟左右。
  
  关于文件中各个变量的描述，在这个网站里（https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-pressure-levels-monthly-means?tab=overview），楼主下的文件是月平均再分析资料，空间水平分辨率0.25×0.25，垂直有37层，时间跨度从1979年1月到2020年9月。
  网盘链接已经放在下面了，还是回复即可获得下载。
  这个数据是5维数据，多了一个变量expver。所以画二维平面图需要控制三个维度（或者将其中三个维度通过求平均等方法压缩）。控制三个维度后由于空间分辨率没有上面陆面数据的高，所以对内存的要求自然也没有那么高。经过楼主测试，本数据控制expver =1，对时间求平均，控制level在某个层次的情况下，画某个层次的全球气候平均图，用16G内存是足够的。

                               
登录/注册后可看大图

  楼主又来更新了。最近想要研究一下海冰和某些陆面要素之间的相互影响，结果发现目前的数据包中没有海冰的资料，于是发现了一个新天地，《ERA5 monthly averaged data on single levels from 1979 to present》数据集。。。里面有上百个气候要素，可以说是非常的全面了。还好每个要素的大小不大，只有2GB左右，甚至还有500MB大小的数据。当然空间分辨率也降低了，从之前陆面数据的0.1降到了0.25，甚至海洋上只有空间分辨率为0.5的数据（不过海洋测站本身就少，可以理解）。依然分享在下面，回复就可以获得了。数据比较多，楼主以文件夹方式分享，大家有需要的数据可以自行查找（都是英文名称）。数据说明在这个网址（https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-single-levels-monthly-means?tab=overview），大家可以对照说明查看各个要素的具体意义。

                               
登录/注册后可看大图

  好久没有更新了。楼主最近在看很多有关陆面过程的文献的时候，发现很多作者都在用GLDAS的数据，原因是很多文章在数据资料对比时都发现GLDAS数据与观测资料的相关性是最好的。所以楼主也下载了GLDAS资料。但是GLDAS资料有一个很大的缺点，那就是所有资料都是按照时间分成多个文件保存的，这在我们使用各种程序编程时就很麻烦，不能够一次性读取一个时间段的变量，必须将变量在时间维进行拼接，非常麻烦。所以楼主将GLDAS的Noah陆面资料整合到了一起，其空间分辨率为0.25°×0.25°，空间覆盖全球大部分地区（北半球全覆盖，南半球最南到60°S左右），时间分辨率为1月，时间跨度从1948年1月到2020年10月，并且把变量分离，每个文件中只有一个变量，这样防止所有变量都在一个文件中导致文件占用内存过大，有些用户的电脑无法打开。
  每个文件的名称就是文件中变量的意义，也可以参考附加的《README_GLDAS2》说明书中第20页和第21页对于Noah的数据说明。  

  文件我仍然分享到网盘中，永久有效，大家可以自行查看取用。
  关于文件整合方法，我用我自己的Python自动绘图函数进行整合的，关于Python自动绘图函数想要学习的可以到以下网址（http://bbs.06climate.com/forum.php?mod=viewthread&tid=97940&extra=&page=1）。
  关于想要学习数据整合的，也可以收看我的Python自动绘图函数视频版本
（1.读取多个nc文件https://www.bilibili.com/video/BV1y5411N7pR/
   2.创建nc文件https://www.bilibili.com/video/BV1RK4y1S7Te/）

                               
登录/注册后可看大图

  
又好久没有更新了，最近作者在研究次季节尺度的东西，对于ERA-5的日数据下载非常头疼。原因如下：
1.ERA-5官方能下载多年的资料，但是数据只有月资料和小时资料（Search results (copernicus.eu)）。
2.ERA-5官方想要下载日数据也是可以的，但是没法多年下载，只能逐月下载（https://cds.climate.copernicus.eu/cdsapp#!/software/app-c3s-daily-era5-statistics?tab=app）
3.用python可以通过循环一次性下载多个ERA-5的逐月的日资料，相当于下载多年的日资料，但是由于其原理还是按照逐月去提交任务的，所以下载多年资料需要提交几百个任务，ERA-5排队时间较长，导致下载速度很慢。

所以楼主用IDM（真的比迅雷好用很多）下载器下载了多年的ERA-5地面、多层次、单层次的小时资料（地面资料一天两个小时，02时和14时，多层次和单层次资料一天四个小时，02、08、14、20时），处理成日平均资料。但是原地面资料是0.1*0.1°，原多层次和单层次资料是0。25*0.25°，按照原分辨率数据将会很大，可能无法适用于pc处理，所以我都降分辨率到1.0*1.0°。当然，多层次数据我也是只下载了一些常用层次，因为如果全部level在一个文件里，也会导致文件过大（目前单层次和地面一个文件都是3gb左右，如果是多层次文件，可能要几十gb甚至上百gb，不能够被pc处理）。目前多层次数据也不完整，后续会逐步更新。（左右图为处理前（小时数据）和处理后（日数据）大小对比）


目前所有数据（包括日数据和月数据）都在一个链接里面了，大家自行取用。

                               
登录/注册后可看大图

  最近新下载了ERA-5的多层次云覆盖日数据后，本来准备下载ERA-5陆面的日数据，结果发现ERA-5由于服务器搬迁，似乎目前不支持下载超过170GB的数据了，无奈本期只能更新一下GLDAS-LSM的日数据。这套资料集如果下载的话，是每日一个文件，所以需要经过合成。而且有一个很大的问题在于，GLDAS的资料都经过两代版本，2.0的资料起始时间在1948-01-01，终止时间在2014-12-30；而2.1的资料起始时间在2003-02-01，终止时间到现在。那么重合部分为2003-02-01到2014-12-30的这一段时间该如何处理？目前大部分处理方法是直接在v2.0的2003-01-31之后拼接v2.1的2003-02-01，或者在v2.0的2014-12-30之后拼接v2.1的2014-12-31，这样会导致明显的气候突变（很多论文都有表述）。所以本数据进行处理的时候，采用了平均方法，即v2.0和v2.1的公共部分采取两个集合的平均，这样可以避免一部分的气候突变。具体的数据变量说明在（GES DISC Dataset: GLDAS Catchment Land Surface Model L4 daily 0.25 x 0.25 degree GRACE-DA1 V2.2 (GLDAS_CLSM025_DA1_D 2.2) (nasa.gov)）可以找到。

ERA5：
链接：https://pan.baidu.com/s/1oWQKaU8yYwVUgYSpKP5n9A?pwd=tbyc
提取码：tbyc

GLDAS：链接：https://pan.baidu.com/s/1RdsFgLoU6oAPSr_DdRWNew?pwd=tbyc
提取码：tbyc

kindboyboy

谢谢，辛苦啦 感谢分享

随缘

对了，由于本数据单变量空间分辨率太高，所以不建议小伙伴们在使用时直接对全球的全时段数据进行直接处理（除非出图要求就是某变量的气候态的全球分布图），尤其是使用python处理数据的小伙伴。因为本人是使用python的，测试了一下用单个变量的全球全时段数据做np.nanmean即时间平均，内存占用量接近溢出状态（本人电脑32G内存）。

handuoduo0215

厉害了，辛苦了，谢谢分享！

Grace123

啊，谢谢小伙伴的分享，还给钱，真不错！

474620961

谢谢分享！{:5_275:}

苏拉苏拉

大家都是好兄弟哈哈

贝壳女孩

大佬大佬！感谢分享！

892292933

牛逼啊，辛苦啦

雨里1998

辛苦了，谢谢大佬分享

jingle

谢谢分享。很有用

iovedys

牛逼啊，感谢分享资源