请选择 进入手机版 | 继续访问电脑版
爱气象,爱气象家园! 

气象家园

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博登陆

只需一步, 快速开始

搜索
查看: 833|回复: 3

[求助] nc数据太大,用python写了循环处理,速度特别慢,有没有办法可以提速?

[复制链接]

新浪微博达人勋

发表于 2022-4-15 10:20:49 | 显示全部楼层 |阅读模式

登录后查看更多精彩内容~

您需要 登录 才可以下载或查看,没有帐号?立即注册 新浪微博登陆

x
我处理的资料有时间维经纬度(time, latitude, longitude),十年中国地区数组就是longitude(257), latitude(153), time(87648),我需要对每个格点和时间点进行一些处理。数据量太大直接读取不了,我把它写成循环,分成每个格点上对时间维处理,然后能出结果,但是处理得太慢了,想问问有没有办法能够提速?
密码修改失败请联系微信:mofangbao

新浪微博达人勋

发表于 2022-4-15 10:53:31 来自手机 | 显示全部楼层
主要考虑两个方面并行加速,for循环方面joblib,multiprocessing之类的都可以,本身高时空分辨率方面上用dask,xarray也兼容的切成小块加速
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

 楼主| 发表于 2022-4-20 09:19:12 | 显示全部楼层
一大碗年糕 发表于 2022-4-15 10:53
主要考虑两个方面并行加速,for循环方面joblib,multiprocessing之类的都可以,本身高时空分辨率方面上用da ...

谢谢,我去学习一下
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

新浪微博达人勋

发表于 2022-7-3 18:04:54 | 显示全部楼层
格点数据一般都是numpy或xarray批量处理,具体情况具体处理,循环肯定是个笨办法
密码修改失败请联系微信:mofangbao
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

Copyright ©2011-2014 bbs.06climate.com All Rights Reserved.  Powered by Discuz! (京ICP-10201084)

本站信息均由会员发表,不代表气象家园立场,禁止在本站发表与国家法律相抵触言论

快速回复 返回顶部 返回列表