请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 2775|回复: 6

CDO循环并行处理数据

[复制链接]

新浪微博达人勋

发表于 2023-1-2 14:55:47 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
拿到CESM large ensemble数据,想用自己电脑先处理成年平均并且提取南半球部分数据。简单的for循环一个一个算实在是太慢啦!经过各种搜索,写了个sh文件进行并行计算。{}&意思是将大括号里的命令提交到后台并行计算。但是同时提交40个成员计算量太大会宕机!CPU直接飞升100%!所以就需要分批计算。于是就把40个成员分别存在5个文件夹,每个文件夹里8个文件(可根据自己电脑情况调整)。外循环(file1)是这5个文件夹,不并行;内循环(file)是每个文件夹的8个文件,并行。于是一次就可以计算8个文件,速度大大提升!!!
  1. #!/bin/bash
  2. for file1 in $(ls /mnt/d/data/CESM/LE/historical/)
  3. do
  4.     echo "$file1"
  5.     for file in $(ls /mnt/d/data/CESM/LE/historical/$file1/*.nc)
  6.     do
  7.     {
  8.         echo "$file"
  9.         echo "${file:39}"
  10.         cdo -yearmean -selname,TEMP -sellonlatbox,0,360,-90,0 -sellevidx,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37 $file "/mnt/d/data/CESM/LE/his_sub_yr/${file:39}"
  11.     }&
  12.     done
  13. wait
  14. done
  15. cdo -ensmean /mnt/d/data/CESM/LE/his_sub_yr/*.nc /mnt/d/data/CESM/LE/his_ensmean.nc
复制代码


密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2023-1-3 09:30:58 | 显示全部楼层
太厉害啦,感谢,正需要,谢谢!
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-1-3 10:08:46 | 显示全部楼层
非常实用的思路和帖子。感谢楼主!学习一个
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-1-3 17:18:21 | 显示全部楼层
非常感谢分享,很实用,谢谢楼主
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-3-16 15:05:41 | 显示全部楼层
请教一下楼主,多个Operator时(比如您的-yearmean -selname -sellonlatbox)cdo的执行顺序是从左到右还是从右到左呢?使用手册里的 Operator chaining好像是从右到左,但是我也不太确定
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-9-28 22:35:44 | 显示全部楼层
新手村de小菜鸡 发表于 2023-3-16 15:05
请教一下楼主,多个Operator时(比如您的-yearmean -selname -sellonlatbox)cdo的执行顺序是从左到右还是 ...

根据我自己实际的计算,是从右到左
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2023-10-10 21:01:17 | 显示全部楼层
mengmeng55 发表于 2023-9-28 22:35
根据我自己实际的计算,是从右到左

感谢!经过实践确实是这样的
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表