读取nc文件提示内存不足

jinm92

MeteoInfo 发表于 2015-7-14 20:36
你给出的信息有限，你看看其它数据变量的经度维和纬度维是什么，分别是多大？也许可以reshape LatData和L ...

所有相关的变量都是n×1的，用reshape不行，因为我需要转换成一个720×1440的数组，值不够

MeteoInfo

jinm92 发表于 2015-7-14 20:56
所有相关的变量都是n×1的，用reshape不行，因为我需要转换成一个720×1440的数组，值不够

你把数据文件贴出来看看

jinm92

MeteoInfo 发表于 2015-7-14 21:08
你把数据文件贴出来看看

示例数据http://pan.baidu.com/s/1hqfEB4o

蜗牛也是牛

想办法分段读吧，直接读太大

MeteoInfo

jinm92 发表于 2015-7-14 21:15
示例数据http://pan.baidu.com/s/1hqfEB4o

用MeteoInfoLab试了试，可以看出数据都分布在陆地上，这种数据没办法形成mesh（需要数据的位置聚集在一起），估计因此数据写成类似一维的结构。可以直接绘制散点图，不过点太多显示会很慢，显示效果也不好。因此考虑将散点数据格点化（插值形成矩形网格），脚本里用了最快速的插值方法“nearest”，每个格点如果有散点则格点值是该格点中所有散点的平均值，否则格点值赋为缺测值（NaN）。此外还有IDW等插值方法，但这么多点插值起来会很慢。

再次强调一下，下面是MeteoInfoLab的代码，不过我想MatLab处理起来也可以参考此思路。


脚本代码：

1. f = addfile('D:/Temp/nc/GT_SSD-L2-SSM_I_LST_2-20030101_051200-CEST-0.25X0.25-V1.0.nc')
   
2. lon = f['lon'][:,:]
   
3. lat = f['lat'][:,:]
   
4. lst = f['LST'][:,:]
   
5. #Interpolate to grid data
   
6. lon_g = arange(0, 360, 1)
   
7. lat_g = arange(-90, 90, 1)
   
8. glst, lon_g, lat_g = griddata((lon, lat), lst, xi=(lon_g,lat_g), method='neareast')
   
9. #Plot
   
10. axesm()
    
11. mlayer = shaperead('D:/Temp/map/country1.shp')
    
12. geoshow(mlayer)
    
13. #layer = scatterm(lon, lat, lst, edge=False)
    
14. levs = arange(240, 300, 5)
    
15. layer = imshowm(lon_g, lat_g, glst, levs)
    
16. colorbar(layer)
    
17. title('Land Surface Temperature')
    
18. axism([-180, 180, -90, 90])

f = addfile('D:/Temp/nc/GT_SSD-L2-SSM_I_LST_2-20030101_051200-CEST-0.25X0.25-V1.0.nc') <br /> lon = f['lon'][:,:] <br /> lat = f['lat'][:,:] <br /> lst = f['LST'][:,:] <br /> #Interpolate to grid data<br /> lon_g = arange(0, 360, 1) <br /> lat_g = arange(-90, 90, 1) <br /> glst, lon_g, lat_g = griddata((lon, lat), lst, xi=(lon_g,lat_g), method='neareast') <br /> #Plot <br /> axesm() <br /> mlayer = shaperead('D:/Temp/map/country1.shp') <br /> geoshow(mlayer) <br /> #layer = scatterm(lon, lat, lst, edge=False) <br /> levs = arange(240, 300, 5) <br /> layer = imshowm(lon_g, lat_g, glst, levs) <br /> colorbar(layer) <br /> title('Land Surface Temperature') <br /> axism([-180, 180, -90, 90])

yanliang21516

最好的办法是分开读，读出来再拼起来

jinm92

MeteoInfo 发表于 2015-7-14 23:02
用MeteoInfoLab试了试，可以看出数据都分布在陆地上，这种数据没办法形成mesh（需要数据的位置聚集在一起 ...

谢谢，我尝试一下

湖底的月亮

只能分片读取 然后计算完后释放内存~

wk1984

分块运算
OR
服务器集群里面RUN

冰糖胡芦娃

yanliang21516 发表于 2015-7-14 23:26
最好的办法是分开读，读出来再拼起来

您好，冒昧的问一下前辈要怎么分开读取数据呢？