CDO循环并行处理数据

yuan_ys

拿到CESM large ensemble数据，想用自己电脑先处理成年平均并且提取南半球部分数据。简单的for循环一个一个算实在是太慢啦！经过各种搜索，写了个sh文件进行并行计算。{}&意思是将大括号里的命令提交到后台并行计算。但是同时提交40个成员计算量太大会宕机！CPU直接飞升100%！所以就需要分批计算。于是就把40个成员分别存在5个文件夹，每个文件夹里8个文件（可根据自己电脑情况调整）。外循环（file1）是这5个文件夹，不并行；内循环（file）是每个文件夹的8个文件，并行。于是一次就可以计算8个文件，速度大大提升！！！

1. #!/bin/bash
   
2. for file1 in $(ls /mnt/d/data/CESM/LE/historical/)
   
3. do
   
4.     echo "$file1"
   
5.     for file in $(ls /mnt/d/data/CESM/LE/historical/$file1/*.nc)
   
6.     do
   
7.     {
   
8.         echo "$file"
   
9.         echo "${file:39}"
   
10.         cdo -yearmean -selname,TEMP -sellonlatbox,0,360,-90,0 -sellevidx,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,34,35,36,37 $file "/mnt/d/data/CESM/LE/his_sub_yr/${file:39}"
    
11.     }&
    
12.     done
    
13. wait
    
14. done
    
15. cdo -ensmean /mnt/d/data/CESM/LE/his_sub_yr/*.nc /mnt/d/data/CESM/LE/his_ensmean.nc

复制代码

blacktupid

太厉害啦，感谢，正需要，谢谢！

贫道敬孔

非常实用的思路和帖子。感谢楼主！学习一个

任性小王子

非常感谢分享，很实用，谢谢楼主

新手村de小菜鸡

请教一下楼主，多个Operator时（比如您的-yearmean -selname -sellonlatbox）cdo的执行顺序是从左到右还是从右到左呢？使用手册里的 Operator chaining好像是从右到左，但是我也不太确定

mengmeng55

新手村de小菜鸡 发表于 2023-3-16 15:05
请教一下楼主，多个Operator时（比如您的-yearmean -selname -sellonlatbox）cdo的执行顺序是从左到右还是 ...

根据我自己实际的计算，是从右到左

新手村de小菜鸡

mengmeng55 发表于 2023-9-28 22:35
根据我自己实际的计算，是从右到左

感谢！经过实践确实是这样的