将网格类数据格式的自描述信息融入到分布式文件系统的元数据体系，加速对文件内局...

B612 · 发表于昨天 10:45

您需要登录才可以下载或查看，没有帐号？立即注册

x

由于目前国家气象局单个文件规模越来越大，对文件存储存在困难。我希望将GRIB、HDF——网格类数据、自描述信息，放在开源的分布式文件系统的元数据里，针对分布式文件系统扩展的元数据，设计数据读取（能提高读写速度）和写入接口（兼容性强）。

Lancelot · 发表于昨天 11:09

我记得netcdf是可以并行读取的，这不能满足需求吗

B612 · 发表于昨天 12:01

Lancelot 发表于 2025-7-13 11:09
我记得netcdf是可以并行读取的，这不能满足需求吗

我目前想到的是用hadoop

topmad · 发表于昨天 19:16

1 使用场景决定存储策略和技术
2 文件规模越来越大，是因为分辨率高了

文件单纯的存储，文件越来越大没啥影响，海量数据管理，要从读取场景出发

开源的分布式文件系统有很多，hadoop感觉存数据还行，做服务接口比较困难（看你的时效要求）

可以考虑分布式表格系统或者时序数据库

		自动登录	找回密码
密码			立即注册

[求助] 将网格类数据格式的自描述信息融入到分布式文件系统的元数据体系，加速对文件内局...