NCL处理数据的内存问题

奋豆儿

因目前条件所限没有服务器可以使用，所以在本地安装cygwin调用NCL来插值interim数据，想一次性把所需的5个变量插值到新建的5个（124,11,251,461）大小的数组，出现如下错误提示，提示的错误是在新建第5个数组的语句位置（20行）。请大家指教！

1. f0=addfile("SWCWARMS_20180301000000_F00_P10.grb","r")
   
2.   u0=f0->U_GRD_GDS0_ISBL(:,{17:42},{77:123})
   
3.   v0=f0->V_GRD_GDS0_ISBL(:,{17:42},{77:123})
   
4.   z0=f0->HGT_GDS0_ISBL(:,{17:42},{77:123})
   
5.   t0=f0->TMP_GDS0_ISBL(:,{17:42},{77:123})
   
6.   q0=f0->SPF_H_GDS0_ISBL(:,{17:42},{77:123})  
   
7.   
   
8.    mid_data_u=new((/124,11,251,461/),float,u0@_FillValue)
   
9.    mid_data_u!0="time"
   
10.    mid_data_u&time=ispan(0,123,1)
    
11.    mid_data_v=new((/124,11,251,461/),float,u0@_FillValue)
    
12.    mid_data_v!0="time"
    
13.    mid_data_v&time=ispan(0,123,1)
    
14.    mid_data_z=new((/124,11,251,461/),float,u0@_FillValue)
    
15.    mid_data_z!0="time"
    
16.    mid_data_z&time=ispan(0,123,1)
    
17.    mid_data_q=new((/124,11,251,461/),float,u0@_FillValue)
    
18.    mid_data_q!0="time"
    
19.    mid_data_q&time=ispan(0,123,1)
    
20.    mid_data_t=new((/124,11,251,461/),float,u0@_FillValue)
    
21.    mid_data_t!0="time"
    
22.    mid_data_t&time=ispan(0,123,1)
    
23.        ;print (f0->lv_ISBL0)
    
24. 
    
25.        copyatt(mid_data_u(0,:,:,:), u0)
    
26.        copyatt(mid_data_v(0,:,:,:), v0)
    
27.        copyatt(mid_data_z(0,:,:,:), z0)
    
28.        copyatt(mid_data_t(0,:,:,:), t0)
    
29.        copyatt(mid_data_q(0,:,:,:), q0)
    
30.        ;printVarSummary(mid_data_u)
    
31.   
    
32.      delete(f0)
    
33.      delete(u0)
    
34.      delete(v0)
    
35.      delete(z0)
    
36.      delete(t0)
    
37.      delete(q0)
    
38.      
    
39.   
    
40. ;===determine the output file's name===
    
41.   m=mon+1
    
42.   if (mon .le. 9)
    
43.    output_nm="./"+"0"+mon+"01-"+"0"+m+"03"+"/"+year+"0"+mon+"01-"+"0"+m+"03inter.nc"
    
44.   else
    
45.    output_nm="./"+mon+"01-"+m+"03"+"/"+year+mon+"01-"+m+"03inter.nc"
    
46.   end if  
    
47.   print(output_nm)
    
48.   
    
49. ;=======time loop start======
    
50.   if (mon .le. 9)
    
51.    in_filenm="./"+"0"+mon+"01-"+"0"+m+"03"+"/"+year+"0"+mon+"01-"+"0"+m+"03.nc"
    
52.   else
    
53.    in_filenm="./"+mon+"01-"+m+"03"+"/"+year+mon+"01-"+m+".nc"
    
54.   end if  
    
55.   print(in_filenm)
    
56.   
    
57.      
    
58.   f1=addfile("./SWCWARMS_20180301000000_F00-72_P10.nc","r")
    
59.   f2=addfile(in_filenm,"r")
    
60.    
    
61.   lat_fore=f1->g0_lat_0
    
62.   lon_fore=f1->g0_lon_1
    
63.   
    
64.   lat_obs=f2->latitude(::-1)
    
65.   lon_obs=f2->longitude
    
66.   
    
67.   levels=(/100, 200, 250, 300, 400, 500, 600, 700, 850, 925, 1000/)
    
68. 
    
69.    do i=0, 10
    
70.     obs1_z_cli=f2->z(:,{levels(i)},::-1,:)
    
71.     obs1_u_cli=f2->u(:,{levels(i)},::-1,:)  
    
72.     obs1_v_cli=f2->v(:,{levels(i)},::-1,:)  
    
73.     obs1_t_cli=f2->t(:,{levels(i)},::-1,:)
    
74.     obs1_q_cli=f2->q(:,{levels(i)},::-1,:)
    
75.    
    
76.     obs_u_cli=linint2_Wrap (lon_obs,lat_obs,obs1_u_cli, False, lon_fore,lat_fore, 0)
    
77.     obs_v_cli=linint2_Wrap (lon_obs,lat_obs,obs1_v_cli, False, lon_fore,lat_fore, 0)  
    
78.     obs_t_cli=linint2_Wrap (lon_obs,lat_obs,obs1_t_cli, False, lon_fore,lat_fore, 0)
    
79.     obs_q_cli=linint2_Wrap (lon_obs,lat_obs,obs1_q_cli, False, lon_fore,lat_fore, 0)
    
80.     obs_z_cli=linint2_Wrap (lon_obs,lat_obs,obs1_z_cli, False, lon_fore,lat_fore, 0)
    
81.    
    
82.     mid_data_z(:, {levels(i)}, :,:) = obs_z_cli(:,:,:)
    
83.     mid_data_u(:, {levels(i)}, :,:) = obs_u_cli(:,:,:)
    
84.     mid_data_v(:, {levels(i)}, :,:) = obs_v_cli(:,:,:)
    
85.     mid_data_t(:, {levels(i)}, :,:) = obs_t_cli(:,:,:)
    
86.     mid_data_q(:, {levels(i)}, :,:) = obs_q_cli(:,:,:)
    
87.    end do
    
88. setfileoption("nc", "Format",  "NetCDF4")
    
89. a = systemfunc("rm -f " + output_nm)
    
90. fout=addfile(output_nm, "c")
    
91.   
    
92. fout->u=mid_data_u
    
93. fout->v=mid_data_v
    
94. fout->z=mid_data_z
    
95. fout->t=mid_data_t
    
96. fout->q=mid_data_q
    
97. delete(fout)

复制代码

根据提示查了一下，可能是因为数组太大内存（本地台式机内存6G）不够的原因，所以考虑一个变量一个变量插值，对不同年份的数据进行年循环，先用变量U试了一下代码如下：

1. do mon=2, 2
   
2.    do year=2001, 2018
   
3. 
   
4.   
   
5. ;===determine the output file's name===
   
6.   m=mon+1
   
7.   if (mon .le. 9)
   
8.    output_nm="./"+"0"+mon+"01-"+"0"+m+"03"+"/"+year+"0"+mon+"01-"+"0"+m+"03inter.nc"
   
9.   else
   
10.    output_nm="./"+mon+"01-"+m+"03"+"/"+year+mon+"01-"+m+"03inter.nc"
    
11.   end if  
    
12.   print(output_nm)
    
13.   
    
14. ;=======time loop start======
    
15.   if (mon .le. 9)
    
16.    in_filenm="./"+"0"+mon+"01-"+"0"+m+"03"+"/"+year+"0"+mon+"01-"+"0"+m+"03.nc"
    
17.   else
    
18.    in_filenm="./"+mon+"01-"+m+"03"+"/"+year+mon+"01-"+m+".nc"
    
19.   end if  
    
20.   print(in_filenm)
    
21.   
    
22. 
    
23.      
    
24.   f1=addfile("./SWCWARMS_20180301000000_F00-72_P10.nc","r")
    
25.   f2=addfile(in_filenm,"r")
    
26.    
    
27.   lat_fore=f1->g0_lat_0
    
28.   lon_fore=f1->g0_lon_1
    
29.   
    
30.   lat_obs=f2->latitude(::-1)
    
31.   lon_obs=f2->longitude
    
32.   
    
33.   levels=(/100, 200, 250, 300, 400, 500, 600, 700, 850, 925, 1000/)
    
34. 
    
35.   f0=addfile("SWCWARMS_20180301000000_F00_P10.grb","r")
    
36.   u0=f0->U_GRD_GDS0_ISBL(:,{17:42},{77:123})
    
37.   v0=f0->V_GRD_GDS0_ISBL(:,{17:42},{77:123})
    
38.   z0=f0->HGT_GDS0_ISBL(:,{17:42},{77:123})
    
39.   t0=f0->TMP_GDS0_ISBL(:,{17:42},{77:123})
    
40.   q0=f0->SPF_H_GDS0_ISBL(:,{17:42},{77:123})  
    
41.   
    
42.    mid_data_u=new((/124,11,251,461/),float,u0@_FillValue)
    
43.    mid_data_u!0="time"
    
44.    mid_data_u&time=ispan(0,123,1)
    
45. 
    
46.    copyatt(mid_data_u(0,:,:,:), u0)
    
47.    delete(u0)
    
48. 
    
49.    do i=0, 10
    
50.     obs1_u_cli=f2->u(:,{levels(i)},::-1,:)  
    
51.     obs_u_cli=linint2_Wrap (lon_obs,lat_obs,obs1_u_cli, False, lon_fore,lat_fore, 0)
    
52.     mid_data_u(:, {levels(i)}, :,:) = obs_u_cli(:,:,:)
    
53.    end do
    
54.   
    
55.   
    
56. setfileoption("nc", "Format",  "NetCDF4")
    
57. a = systemfunc("rm -f " + output_nm)
    
58. fout=addfile(output_nm, "c")
    
59.   
    
60. fout->u=mid_data_u
    
61. ; fout->v=mid_data_v
    
62. ; fout->z=mid_data_z
    
63. ; fout->t=mid_data_t
    
64. ; fout->q=mid_data_q
    
65. delete(fout)
    
66. delete(obs1_u_cli)
    
67. delete(f2)
    
68. delete(i)
    
69.    end do
    
70.   end do

复制代码

结果第一年的结果出来了没有问题，第二年插值又不行了，提示如下（错误提示2），不知道是不是还是内存不够的问题？试过把第一年数据插值使用过的数组都清空还是一样的提示，所提示的语句为50行obs1_u_cli=f2->u(:,{levels(i)},::-1,:) 感觉没啥问题。

Grace123

错误提示1可以通过在注册表中cygwin位置下建32位DWORD值来解决，把值设成1024.同时及时delete脚本中不用的变量

奋豆儿

Grace123 发表于 2020-4-27 11:00
错误提示1可以通过在注册表中cygwin位置下建32位DWORD值来解决，把值设成1024.同时及时delete脚本中不用的 ...

好的谢谢您，我试试！