Python处理era5和ncep数据的速度

GXYYYYY · 发表于 4 天前

尽管era5的数据水平分辨率是0.25*0.25，而ncep/ncar数据是2*2，但假如我选取了同等大小的数组（如100*90*180），python对era5数据的处理速度要明显慢于ncep数据（比如执行np.array(variable)或执行variable.values），有大佬知道是为什么吗T.T

Lancelot · 发表于 4 天前

首先，对dataarray对象取value这个过程不需要计算操作。这里八成是dask array在load
其次，考虑是否是f32与f64的问题。如果对数据精度要求不高，可以考虑转换为f32

GXYYYYY · 发表于 4 天前

Lancelot 发表于 2024-11-18 14:37
首先，对dataarray对象取value这个过程不需要计算操作。这里八成是dask array在load
其次，考虑是否是f32 ...

嗯嗯是的，我感觉可能是碍于ram太小了，astype改成float32还是慢，现在我是选择分块运行慢慢来了，要不然.load()还会提示"Memory error"

Lancelot · 发表于 3 天前

GXYYYYY 发表于 2024-11-18 15:16
嗯嗯是的，我感觉可能是碍于ram太小了，astype改成float32还是慢，现在我是选择分块运行慢慢来了，要不然 ...

dask分块就是适合小内存的，你做任何从dask array转换的操作都是浪费时间和内存，建议看一下dask是怎么写的

GXYYYYY · 发表于 3 天前

Lancelot 发表于 2024-11-19 10:40
dask分块就是适合小内存的，你做任何从dask array转换的操作都是浪费时间和内存，建议看一下dask是怎么写 ...

好的我再看看感谢~

		自动登录	找回密码
密码			立即注册