关于nc文件数据提取后存储方式的问题

TK_LSP

首先，感谢你进来观看此题。

接下来是我提到的问题：
我将nc文件(200M)数据提取出来后，能看到数值，但是数据量太大，几百万行的数据应该是有的。
我不知该把这些提取出来的数据存到哪里，txt、excel、mysql 装载显得过于肥大。阿里云oss存储又不够专业，想请教一下气象专家们一般存到哪里？？

若答案能提高存储效率，有偿！

p.s. 我提取nc文件数据的方式是用python 的netCDF4提取的。因为编程语言只了解python，而提取后的数据个人需要保存。

zhangqqqf

首先 百万级数据量并没有多大, 使用常见的数据库都没啥问题;  推荐使用PostgreSQL 1. PG 在 GIS 领域处于优势   2. PG有非常丰富的统计函数和统计语法支持，还可以用多种语言来写存储过程. 3.PG 的“无锁定”性能很好, 很适合这种完全没有锁表的场景 4.pgsql的数据类型非常丰富!

小呆呆

阿阿飞飞 发表于 2018-3-4 12:19
我用hdf格式存储，一般可以压缩到原大小的1/4到1/5

您好，想请问一下您是如何将nc格式的数据转换成hdf格式的

showpingzhang

TK_LSP 发表于 2018-3-5 09:35
气象数据一般有3维，经纬度间隔0.5度。我提取过一个时间点的，层层循环遍历下来，几乎花了50分钟。后来优 ...

先生，请教一下我用pathon读取出来的数据是分开的，即经度一组数据、纬度一组数据，最后是PRCP数据。您的数据读取出来也是这样的吗？

Benjamin_19

nc》hdf。 受教了，谢谢

Benjamin_19

nc》hdf。 受教了，谢谢

yuyumage

正在研究怎么用Python读取nc文件。。。

TK_LSP

zhangqqqf 发表于 2018-3-5 09:25
如果你没有服务器环境搭建数据库, 可以直接简单的使用SqlLite进行数据存储, 只要注意提交数据时进行批量 ...

气象数据一般有3维，经纬度间隔0.5度。我提取过一个时间点的，层层循环遍历下来，几乎花了50分钟。后来优化了下代码，先取一维的数据，再for循环 从取出来的数组 里继续提取，速度快了很多。请教下先生还有别的优化方案吗？？

TK_LSP

zhangqqqf 发表于 2018-3-5 09:16
首先 百万级数据量并没有多大, 使用常见的数据库都没啥问题;  推荐使用PostgreSQL 1. PG 在 GIS 领域处于优 ...

先生，如您所说的那样，百万级别其实不算啥。
但是如果是每小时百万级积累，就很庞大了。
我会花时间研究下您的建议的。
再次感谢您

zhangqqqf

TK_LSP 发表于 2018-3-4 19:50
感谢你的回复，我没用过这种存储，先研究下。

如果你没有服务器环境搭建数据库, 可以直接简单的使用SqlLite进行数据存储, 只要注意提交数据时进行批量提交,比如1000条数据一次提交 或者 更多条数据一次提交;