读取部分数据

scaler

由于数据文件很大（> 1G），直接读入进来，电脑转不动，其实有用的只有4列数据，如何读取出这四列数据呢，有没有好的方法？

topmad

读取的时候 直接读取有用的部分不就行了吗

scaler

topmad 发表于 2015-6-1 14:03
读取的时候 直接读取有用的部分不就行了吗

用哪个函数呢？新手，轻拍

topmad

@二爷名声在外

二爷名声在外

什么类型，什么格式的数据能不能放一个截图？

清龙

为什么不用fortran或者其他的语言删掉无用的数据呢？ 留下可用的再导入呀？

scaler

二爷名声在外 发表于 2015-6-1 17:57
什么类型，什么格式的数据能不能放一个截图？

就是文本数据.dat，有72列，上百万行，对我有用的只有5列数据，数据不全是numerical，有些列是string，有什么法子可以提取这些列，放到新文件中去呢。

scaler

清龙 发表于 2015-6-2 08:09
为什么不用fortran或者其他的语言删掉无用的数据呢？ 留下可用的再导入呀？

那前天也得把数据加载到内存吧，现在是文件太大，加载不进来

二爷名声在外

scaler 发表于 2015-6-3 09:01
就是文本数据.dat，有72列，上百万行，对我有用的只有5列数据，数据不全是numerical，有些列是string，有 ...

方便的话截个图看看好吗

清龙

scaler 发表于 2015-6-3 09:02
那前天也得把数据加载到内存吧，现在是文件太大，加载不进来

不需要放入内存啊，一边读一边写，读入的数据剔除掉无用的直接把有用的写入硬盘中，加载到内存的只是一个缓存，只需要几M就行了。