读取部分数据

清龙 · 发表于 2015-6-4 08:09:35

scaler 发表于 2015-6-3 09:01
就是文本数据.dat，有72列，上百万行，对我有用的只有5列数据，数据不全是numerical，有些列是string，有 ...

你研究的不会是闪电定位数据吧？
用正则表达式匹配，然后转成数字存入到文本中，1G数据处理完很快啊。估计也就一分钟不到

wangmol · 发表于 2015-6-4 10:36:19

matlab读数据没有fortran快，可以考虑用fortran。如果用matlab，边读边写可能是必要的，如果你格式很整齐，试试textread、textscan或fgetl函数来读，一块一块的读，毕竟数据太大，里面还有字符串，importdata load不适用。

清龙 · 发表于 2015-6-4 11:39:14

scaler 发表于 2015-6-3 09:02
那前天也得把数据加载到内存吧，现在是文件太大，加载不进来

事先处理，就像高清电影好几个G但是电脑也可以播放呀，就像播放电影一样，不需要全部加载在内存，只需要加载需要播放的最近的一段就好了

scaler · 发表于 2015-6-8 22:51:17

清龙发表于 2015-6-4 08:07
不需要放入内存啊，一边读一边写，读入的数据剔除掉无用的直接把有用的写入硬盘中，加载到内存的只是一个 ...

谢谢已处理完毕

scaler · 发表于 2015-6-8 22:51:38

清龙发表于 2015-6-4 08:07
不需要放入内存啊，一边读一边写，读入的数据剔除掉无用的直接把有用的写入硬盘中，加载到内存的只是一个 ...

是的已经处理好了

scaler · 发表于 2015-6-8 22:53:02

清龙发表于 2015-6-4 08:09
你研究的不会是闪电定位数据吧？
用正则表达式匹配，然后转成数字存入到文本中，1G数据处理完很快啊。估 ...

不是。是雷达数据

scaler · 发表于 2015-6-8 22:53:47

wangmol 发表于 2015-6-4 10:36
matlab读数据没有fortran快，可以考虑用fortran。如果用matlab，边读边写可能是必要的，如果你格式很整齐， ...

恩差不多后来用R readlines 处理了

嘟嘟鱼2013 · 发表于 2017-8-11 14:31:01

二爷名声在外发表于 2015-6-3 10:03
方便的话截个图看看好吗

类似这种，只要经纬度和挨着经纬度的一列数据

		自动登录	找回密码
密码			立即注册

[讨论] 读取部分数据