【更新：已解决】cygwin调用NCL 报错：fatal:NclMalloc Failed:[errno=12]

lzc90 · 发表于 2015-8-22 11:07:43

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

本帖最后由 lzc90 于 2015-8-22 18:42 编辑

因项目开发需要，必须在Windows系统下，使用CFSv2预报资料(.grb2格式)。因IDL8.3版本读取grb2数据有错，故采用cygwin调用NCL的方式，利用NCL将GRB2格式转换为NC格式，再利用IDL处理NC文件。但是在读取数据量较大文件海表下5m温度文件ocnsst.grb2（[lon,lat,tine]维数大小：[720,360,1196]，170余M）出现错误如下：

ncl ocnsst.ncl
Processing file: ocnsst.grb2...
Copyright (C) 1995-2011 - All Rights Reserved
University Corporation for Atmospheric Research
NCAR Command Language Version 6.0.0
The use of this software is governed by a License Agreement.
See http://www.ncl.ucar.edu/ for more details.
fatal:NclMalloc Failed:[errno=12]
Segmentation fault (core dumped)

复制代码

如果在不替代现有海温资料.grb2的前提下，可以如何解决？暂思考无果，烦劳各位提出宝贵意见和建议。
我的文本ocnsst.ncl代码附于文末（可能导致该错误的语句（读入数组过大），为第 24 行和第60 行。）。

load "$NCARG_ROOT/lib/ncarg/nclscripts/csm/contributed.ncl"
function rdVar4D (f:file, vName:string, time:integer, lat:float,lon:float)
; read GRIB 4D variable and assign new dimension names
begin
var=new((/dimsizes(time),dimsizes(lat),dimsizes(lon)/),float)
var_TMP = f->$vName$; read variable
var_TMP!0 = "time" ; assign 'conventional' dimension names
var_TMP!1 = "lat"
var_TMP!2 = "lon"
var!0 = "time" ; assign 'conventional' dimension names
var!1 = "lat"
var!2 = "lon"
var=var_TMP(:(dimsizes(time)-1),59:220,89:560)
return(var)
end
begin
;***********************************************
; read in data from GRIB file
;***********************************************
gribdir = "./"
gribfil = "ocnsst.grb2"
grib_in = addfile(gribdir+gribfil, "r")
_ft=grib_in->forecast_time0
_lat=grib_in->lat_0
_lon=grib_in->lon_0
time=_ft(:239)
time!0 = "time"
lat=_lat(59:220) ;_lat[59]=60.25,_lat[220]=-20.25 Origin: _lat range=[89.75,-89.75] Delta=0.5 N=360
lat!0 = "lat"
lon=_lon(89:560) ;_lon[89]=44.75,_lon[560]=280.25 Origin: _lon range=[0.25,359.75] Delta=0.5 N=720
lon!0 = "lon"
ocnsst= rdVar4D (grib_in, "POT_P0_L160_GLL0" ,time,lat,lon) ;240个6小时，代表预报未来60天
;***********************************************
; create parameters and output file
;***********************************************
ntim = dimsizes(time)
nlat = dimsizes(lat)
mlon = dimsizes(lon)
system("'rm' -f ocnsst_ncl.nc") ; remove pre-exit file (if any)
ncdf = addfile("ocnsst_ncl.nc","c") ; create output file
;***************************************************
; define file options [Version a033]
;***********************************************
setfileoption(ncdf, "prefill", False)
setfileoption(ncdf, "suppressclose", True)
setfileoption(ncdf, "definemode", True)
;***********************************************
; assign file attributes
;***********************************************
fAtt = True
fAtt@title = "GRIB-to-netCDF: Efficient Approach"
fAtt@source_file = "./ocnsst.grb2"
fAtt@Conventions = "None"
fAtt@creation_date = systemfunc("date")
fileattdef( ncdf, fAtt )
;***********************************************
; predefine coordinate information
;***********************************************
dimNames = (/"time", "lat", "lon"/)
dimSizes = (/ntim , nlat, mlon/)
dimUnlim = (/ True , False, False/)
filedimdef(ncdf, dimNames , dimSizes, dimUnlim )
filevardef(ncdf, "time" , typeof(time), getvardims(time) )
filevarattdef(ncdf, "time", time)
filevardef(ncdf, "lat", typeof(lat), getvardims(lat) )
filevarattdef(ncdf, "lat", lat)
filevardef(ncdf, "lon", typeof(lon), getvardims(lon) )
filevarattdef(ncdf, "lon", lon)
;***********************************************
; predefine variable sizes
;***********************************************
filevardef(ncdf,"ocnsst",typeof(ocnsst),getvardims(ocnsst) )
filevarattdef(ncdf,"ocnsst",ocnsst)
;***********************************************
; terminate define mode: not necessary but for clarity
;***********************************************
setfileoption(ncdf, "definemode", False)
;***********************************************
; write data values to predefined locations
; (/ .../) operator transfer values only
;***********************************************
ncdf->time = (/ time /)
ncdf->lat = (/ lat /)
ncdf->lon = (/ lon /)
ncdf->ocnsst = (/ ocnsst /)
end

复制代码

longlivehj · 发表于 2015-8-22 16:58:34

1、(/720,360,1196/)大小的数组，按float类型算，肯定不止170M，你说的应该是文件大小，内存中应该在1GB以上；
2、rdVar4D中定义var完全没有必要，内存就是这样浪费的，var_TMP = f->$vName$(:(dimsizes(time)-1),59:220,89:560)就行，并且建议直接采用坐标方式（{...}）抽取数据，而不是下标方式；
3、是pre-exist，非pre-exit；
4、如果这种格式转换不是频繁进行，也可以考虑找一台linux机器，把nc文件做好了在idl中直接使用。

lzc90 · 发表于 2015-8-22 18:41:05

longlivehj 发表于 2015-8-22 16:58
1、(/720,360,1196/)大小的数组，按float类型算，肯定不止170M，你说的应该是文件大小，内存中应该在1GB以 ...

问题已解决，

。按照您说的第二条，内存确实是浪费的，这会儿直接采用的是 var_TMP = f->$vName$(:(dimsizes(time)-1),59:220,89:560)方式，就顺利通过了。至于直接采用坐标方式，我待会儿直接问下源博，多谢！长久的心病啊！

Wzy大神让我在Windows平台下做，所以就不能用Linux，哎~不管怎样，已经解决。多谢！

hongfei0403 · 发表于 2016-2-27 11:23:26

请教楼主是否知道在cygwin下调用ncl跑例子遇到下图错误是怎么回事

lucinda筱橙 · 发表于 2016-7-14 11:01:48

hongfei0403 发表于 2016-2-27 11:23
请教楼主是否知道在cygwin下调用ncl跑例子遇到下图错误是怎么回事

我也想知道这个是怎么了。。。求解答

lucinda筱橙 · 发表于 2016-7-14 11:01:52

hongfei0403 发表于 2016-2-27 11:23
请教楼主是否知道在cygwin下调用ncl跑例子遇到下图错误是怎么回事

我也想知道这个是怎么了。。。求解答

jianglegejiang · 发表于 2017-3-12 16:54:11

hongfei0403 发表于 2016-2-27 11:23
请教楼主是否知道在cygwin下调用ncl跑例子遇到下图错误是怎么回事

没开xming 开了再运行

hongfei0403 · 发表于 2018-3-21 16:41:56

jianglegejiang 发表于 2017-3-12 16:54
没开xming 开了再运行

离开好久了，不好意思刚看到，问题已经解决了，谢谢高手解答

zyh1314 · 发表于 2018-3-30 14:30:59

hongfei0403 发表于 2018-3-21 16:41
离开好久了，不好意思刚看到，问题已经解决了，谢谢高手解答

怎么解决的

		自动登录	找回密码
密码			立即注册

[其他] 【更新：已解决】cygwin调用NCL 报错：fatal:NclMalloc Failed:[errno=12]

登录后查看更多精彩内容~

相关帖子