nc数据太大，用python写了循环处理，速度特别慢，有没有办法可以提速？

li134 · 发表于 2022-4-15 10:20:49

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

我处理的资料有时间维经纬度(time, latitude, longitude)，十年中国地区数组就是longitude(257), latitude(153), time(87648)，我需要对每个格点和时间点进行一些处理。数据量太大直接读取不了，我把它写成循环，分成每个格点上对时间维处理，然后能出结果，但是处理得太慢了，想问问有没有办法能够提速？

一大碗年糕 · 发表于 2022-4-15 10:53:31

主要考虑两个方面并行加速，for循环方面joblib，multiprocessing之类的都可以，本身高时空分辨率方面上用dask，xarray也兼容的切成小块加速

来自安卓APP客户端

li134 · 发表于 2022-4-20 09:19:12

一大碗年糕发表于 2022-4-15 10:53
主要考虑两个方面并行加速，for循环方面joblib，multiprocessing之类的都可以，本身高时空分辨率方面上用da ...

谢谢，我去学习一下

坎坷 · 发表于 2022-7-3 18:04:54

格点数据一般都是numpy或xarray批量处理，具体情况具体处理，循环肯定是个笨办法

		自动登录	找回密码
密码			立即注册

[求助] nc数据太大，用python写了循环处理，速度特别慢，有没有办法可以提速？

登录后查看更多精彩内容~

浏览过的版块