爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 10150|回复: 9

HDF和netCDF的差别(由图有真相)

[复制链接]

新浪微博达人勋

发表于 2014-11-12 09:30:29 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x

今天下数据发现同时有HDF和netCDF

AIRS dataprocess

AIRS dataprocess



然后我都下了,结果高下立判:

nc v.s. HDF

nc v.s. HDF






我记得HDF5和netCDF4在某种程度上是“等价”的,具体说不清。不过这里是HDF4。直观上看HDF的压缩程度明显比netCDF高,便于数据储存。可能这也是为什么MATLAB在R2006B之后使用HDF类型的mat文件存储数据了吧。


密码修改失败请联系微信:mofangbao

新浪微博达人勋

 楼主| 发表于 2014-11-14 07:35:43 | 显示全部楼层
本帖最后由 沙颖凯 于 2014-11-16 20:27 编辑
imgrus 发表于 2014-11-13 07:54
取决于你的应用目的
用于存储,当然压缩率高节约资源
但是用于计算的时候,无压缩的更快

google了一下,netCDF4可以使用HDF5 lib压缩,看来只是这网站没有提供有压缩的netCDF。

模式使用netCDF我想是因为netCDF的维数可以是UNLIMITED, 而且不需要metadata。遥感数据使用HDF可能是因为HDF压缩算法效率更高,不是很确定。

评分

参与人数 1金钱 +1 收起 理由
暮雪千山 + 1

查看全部评分

密码修改失败请联系微信:mofangbao
回复 支持 1 反对 0

使用道具 举报

新浪微博达人勋

发表于 2014-11-13 22:54:40 | 显示全部楼层
取决于你的应用目的
用于存储,当然压缩率高节约资源
但是用于计算的时候,无压缩的更快
比如有些数值模式会把nc4的驱动数据先转成nc3
跑完后的结果归档再转回nc4
密码修改失败请联系微信:mofangbao
回复 支持 1 反对 0

使用道具 举报

新浪微博达人勋

发表于 2014-11-17 15:27:53 | 显示全部楼层
请问使用ncdump把netcdf4转换为3的么
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2014-11-18 16:49:54 | 显示全部楼层
新起点新生活 发表于 2014-11-17 15:27
请问使用ncdump把netcdf4转换为3的么

NetCDF网站上的回答:

http://www.unidata.ucar.edu/software/netcdf/docs/faq.html#fv14

How can I convert netCDF-4 files into netCDF-3 files?

In general, you can't, because netCDF-4 files may have features of the netCDF enhanced data model, such as groups, compound types, variable-length types, or multiple unlimited dimensions, for which no netCDF-3 representation is available. However, if you know that a netCDF-4 file conforms to the classic model, either because it was written as a netCDF-4 classic model file, because the program that wrote it was a netCDF-3 program that was merely relinked to a netCDF-4 library, or because no features of the enhanced model were used in writing the file, then there are several ways to convert it to a netCDF-3 file.

You can use the nccopy utility from netCDF versions 4.1 and later. For example to convert a netCDF-4 classic-model format file foo4c.nc to a classic format file foo3.nc, use:

     nccopy -k classic foo4c.nc foo3.nc
If you have installed NCO , the NCO utility "ncks" can be used to accomplish the same task, as follows:

     ncks -3 foo4c.nc foo3.nc
For a relatively small netCDF-4 classic model file, "small4c.nc" for example, you can also use the ncdump and ncgen utilities to create an equivalent netCDF-3 classic format file named "small3.nc" as follows:

  ncdump small4c.nc > small4.cdl
  ncgen -o small3.nc small4.cdl
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-4-5 21:42:57 | 显示全部楼层
yupo_smart 发表于 2014-11-18 16:49
NetCDF网站上的回答:

http://www.unidata.ucar.edu/software/netcdf/docs/faq.html#fv14

{:eb348这个看完,貌似知道了点。
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-4-10 17:03:23 | 显示全部楼层
沙颖凯 发表于 2014-11-14 07:35
google了一下,netCDF4可以使用HDF5 lib压缩,看来只是这网站没有提供有压缩的netCDF。

模式使用netCD ...

卫星数据用HDF格式储存更加高效
具体可见HDF格式的介绍 http://hdfgroup.org/why_hdf/
还有为气象卫星数据加了地理信息的HDF-EOS格式 http://nsidc.org/data/hdfeos/intro.html
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-10-9 12:50:15 | 显示全部楼层
不错的贴子!
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2015-11-18 13:08:23 | 显示全部楼层
学习了 谢谢分享
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2019-2-20 17:02:08 | 显示全部楼层
{:5_235:}
密码修改失败请联系微信:mofangbao
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表