数据量太大，如何提高matlab效率

geomuenchen · 发表于 2017-11-25 23:46:52

登录后查看更多精彩内容~

您需要登录才可以下载或查看，没有帐号？立即注册

x

本帖最后由 geomuenchen 于 2017-11-25 23:48 编辑

计算长时间序列气象数据，一个格点5万多数据，共有81万多个格点
为了便于存储，每2万个格点每5年的数据一个mat，在计算一个格点长时间序列时，需要不停的load，clear，才能合并成单个格点的完整的时间序列，然后再算pdf等参数。这样一来一个格点的计算时间差不多48秒。
但是81万多个格点，算下来要500多天了，晕死了！
各位大神是否有更好的办法？

尝试过加载所有的mat，避免反复load，clear，但是内存不支持！
谢谢！

weilin421 · 发表于 2017-11-26 00:06:19

你要做什么样的处理

weilin421 · 发表于 2017-11-26 00:08:07

你要把做什么处理叙述清楚，然后才能考虑如何优化，大运算量尽量不要用循环，或者转fortran会有惊喜。

常山赵子龙 · 发表于 2017-11-26 01:04:54

你可以试试，存储成一年一年的，或者一天一天的，这样可能会好很多。。

xs-man · 发表于 2017-11-26 10:07:23

matlab因为自身平台的原因在速度上还是要比c等慢一些，特别对于大数据，建议你可以用fotran或者c来处理。

二爷名声在外 · 发表于 2017-11-26 10:09:11

用大型鸡

sunzy025 · 发表于 2017-11-26 12:39:04

换成Linux吧，我感觉好像是快了一点，可能是心理作用
http://bbs.06climate.com/forum.php?mod=viewthread&tid=56992

Lancelot · 发表于 2017-11-26 14:48:54

不用matlab

geomuenchen · 发表于 2017-11-26 22:32:48

谢谢楼上各位的建议，简单说，我就是想求81万多个格点，每一个格点40年来的平均气温。今天已经在大型机上转，依旧很慢，并且内存也不是很够，出现如下信息：

  WARNING: Please note that the dynamic loader is overloaded by the
         MATLAB environment module!
         Use a different shell to start programs other than MATLAB,
         otherwise those programs may not function properly.

我已经修改了代码，在笔记本上都能用，大型机上居然不能跑了。
真是扎心了。

转Fortran，怎么转？不太会，还要折腾了

geomuenchen · 发表于 2017-11-26 22:38:52

比如，t_1979_1984_20000.mat, 代表1979-1984年1-20000个格点的气温数据，然后每五年每20000个格点一个mat文件，这一个文件就有700m，以供有287个。差不多160G的数据。但是我要算每个格点40年的平均气温，第一步就要把时间序列拼接起来。（平均可以不拼接，但是百分位就要了）
加载连个mat，内存就满了。

		自动登录	找回密码
密码			立即注册

[程序设计] 数据量太大，如何提高matlab效率

登录后查看更多精彩内容~