[已收纳]python之数据便捷保存手段pickle,类似IDL的sav格式

15195775117

IDL中有个sav数据格式，可以保存数组、字符串、图形句柄、函数等等，十分便利，
使用python如果想得心应手，势必也需要一个这种格式，不然多个脚本共享数据就成了问题，
粗略查找，pickle模块好像可以肩负这个使命，主要参考一下的帖子：
pickle文件帖子

import pickle

#写文件
x1=[[1.1,2.2],[3.3,4.4]]
x2=['abc','def']
x3=(-5,10,8)
x4={4,5,6}
x5={'a':'apple','b':'banana','c':'grape'}
#以写模式打开二进制文件
f=open('sample_pickle.dat','wb')
pickle.dump(5,f)#第一个表示元素个数
pickle.dump(x1,f)
pickle.dump(x2,f)
pickle.dump(x3,f)
pickle.dump(x4,f)
pickle.dump(x5,f)
f.close()

#读取数据
f=open('sample_pickle.dat','rb')
n=pickle.load(f)    #读出文件的数据个数
print('数量=',n)
for i in range(n):
    x=pickle.load(f)
    print(i,':',x)
f.close()

输出结果：
数量= 5
0 : [[1.1, 2.2], [3.3, 4.4]]
1 : ['abc', 'def']
2 : (-5, 10, 8)
3 : {4, 5, 6}
4 : {'a': 'apple', 'b': 'banana', 'c': 'grape'}


思考：
相比于sav格式，pickle似乎不能保存函数，而且需要给出变量个数
不过，一般我都把数据按结构体，即字典格式输出，变量个数就锁定为1了

15195775117

尴尬，pkl文件居然很大！

以前我处理数据都要把原始数据做成sav文件，不仅可以快速加载数据，还能节省不少空间。
但是最近使用pickle就有些费解，pickle生成的二进制dat文件居然很大，比原始文件还大！

原始文件有5千多个，8.56M：


pickle文件17M，sav文件8.5M：

15195775117

长期体验认为，IDL的sav格式效率是不错的，一般大小仅有txt文件的1/5