闪电数据的统计处理

胡喇拐

chengxf 发表于 2014-4-25 11:19
没有办法修改。已经出了图了，图上无法改。要修改就从数据开始重头再来。

额。。。不好意思那我再请教老师一下，这样要怎么修改呢？

chengxf

胡喇拐 发表于 2014-4-25 11:23
额。。。不好意思那我再请教老师一下，这样要怎么修改呢？

166楼说的那样，根据你自己的要求来改(重新组织)数据啊。

213aaa

牛逼啊~！
顶上去一个

霸嶈

程老师，“为了能够处理超大量数据记录，本程序这次修改增添了延续处理数据的功能。”
这个功能怎么操作呢

zrj123

厉害，还有这好的软件，多谢共享。。。

chengxf

霸嶈 发表于 2014-5-3 20:27
程老师，“为了能够处理超大量数据记录，本程序这次修改增添了延续处理数据的功能。”
这个功能怎么操作呢

具体的操作步骤是这样的，看图。那个延续统计的功能只有在进行过频次统计以后才会有。除了看图以外，说明中的一段文字也希望你能仔细看并理解它。下面就是这段文字，你下载了压缩包里面就有：

2、由于大部分人使用的操作系统仍是32位，为了能够处理超大量数据记录，本程序这次修改增添了延续处理数据的功能。就是说，处理完一批数据之后，另外再次读入下一批数据，仍旧沿用上次设定的网格点数和网格中心经纬度，而将这次读入的频次、强度数据统计后累加在原来的统计数据之上，可以进行多次这样的延续处理，以解决超大量数据记录因内存溢出而无法处理的问题。

如果你需要这样处理数据的话，请注意第一次的一批数据，它们的经纬度范围必须要有代表性，要能够覆盖你所处理的所有地理范围，不能出现空白区域。这样，后面延续读入的数据最好都落入到这些范围之中，因不在范围之内而被剔除的数据记录越少越好。

由于是延续处理，因此，网格格点数、网格间隔距离、经纬度范围的极大极小值，在这一状态下都不能再改变。

霸嶈

学习了

chengxf

ahhbqk 发表于 2014-2-28 10:45
程老师讲的很有道理！我以前也遇到同样的问题！我是气象部门搞防雷的，在读研究生，所以需要研究这些东西 ...

你要处理超大量的数据，请参考176楼的说明来做。这样处理基本上没有记录数的限制了。

chenrong1236

chengxf 发表于 2014-5-4 11:35
具体的操作步骤是这样的，看图。那个延续统计的功能只有在进行过频次统计以后才会有。除了看图以外，说明 ...

程老师，我先选了1个127MB的.txt文件，一切正常，后来选了第2个127MB的.txt文件进行延续处理，但是提示out of memory(32位的系统)？

chengxf

chenrong1236 发表于 2014-5-7 00:32
程老师，我先选了1个127MB的.txt文件，一切正常，后来选了第2个127MB的.txt文件进行延续处理，但是提示ou ...

这个问题我只能回答你抱歉。我没有测试过这样大的文件，以前有过大文件，也发生内存溢出，无可奈何。后来改进了程序，可以延续第一次分好的格点继续调入记录进行统计，还是成功的。但是也没有调入太大的文件。所以你的问题也正常。我不知道怎样可以帮到你。你是否可以升级你的操作系统为64位以及扩大内存容量(扩大到8~16G)，没有办法的办法了。如果你经常做这类工作，还是升级好。如果不是经常性的，那找一个大内存的机器试试看。