运行WPS时数据太多怎么办？

晋陵小生

本文首发于微信公众号【气象备忘录】，转载请标明出处

当我们运行WPS，处理大批量的数据文件的时候（比如，数年的fnl数据），在运行

1. ./link_grib.csh fnl_*grib2

复制代码

时，有时我们会遇到这样的错误：

1. foreach: Too many arguments.

复制代码

这是由于csh在大多数linux发行版上的默认实现tcsh的语法中，foreach 函数无法接受过多的参数。一旦参数超过一定数量，就会报foreach: Too many arguments.这种错误。那我们应该如何解决呢？有下列几种方法供大家选择

• 减少单次运行WPS时处理文件的数量。少量多次即可避免这一问题。
• 如果我们深入研究一下link_grib.csh这个脚本，那我们可以发现，它做的只不过是将文件软链接到当前目录，然后重命名为GRIBFILE.????格式而已。既然csh的循环有数量限制，那我们将其改写为python不就行了嘛。
  

下面就是我将csh脚本一比一改写而成的python脚本。只要将原本的./link_grib.csh fnl_*grib2改写成./link_grib.py fnl_*grib2就可以了！最多支持26^4=456976个文件，按照fnl每天4个文件来算的话，相当于300多年。相信够大家用的了。

1. #! /usr/bin/python
   
2. import sys, glob, os
   
3. 
   
4. 
   
5. def link_grib_file(filelist):
   
6.     n = 0
   
7.     for ifile in filelist:
   
8.         if ifile != ".":
   
9.             file_suffix = file_alphabet(n)
   
10.             os.symlink(ifile, "GRIBFILE." + file_suffix)
    
11.             n += 1
    
12.             
    
13. def file_alphabet(number):
    
14.     alpha=['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z']
    
15.     if number >= 26 * 26 * 26:
    
16.         print("RAN OUT OF GRIB FILE SUFFIXES!")
    
17.         exit()
    
18.     else:
    
19.         i1 = number % 26
    
20.         i2 = (number - i1) // 26 % 26
    
21.         i3 = (number - i2 * 26 - i1) // 26 // 26 % 26
    
22.         return alpha[i3] + alpha[i2] + alpha[i1]
    
23. 
    
24. if __name__ == "__main__":
    
25.     varlist = sys.argv[1:]
    
26.     if (len(varlist) == 1) or (len(varlist) == 2 and varlist[1] == "."):
    
27.         os.system("rm -f GRIBFILE.???")
    
28.         filelist = glob.glob(varlist[0])
    
29.         link_grib_file(filelist)
    
30.     elif len(varlist) > 1:
    
31.         os.system("rm -f GRIBFILE.???")
    
32.         filelist = varlist
    
33.         link_grib_file(filelist)
    
34.     elif len(varlist) == 0:
    
35.         print(" ")
    
36.         print(" ")
    
37.         print("   Please provide some GRIB data to link")
    
38.         print("   usage: ./link_grib.py path_to_grib_data/grib_data_root")
    
39.         print(" ")
    
40.         print(" ")

复制代码

werewolf

原来支持多少个文件