python批处理txt文件

mockings

接触python不久，之前使用的是nc数据文件，最近师兄给了青藏高原71个站点近55年的台站txt数据文件，想要读取，有参考论坛里和网上各位前辈的代码，但是一直不能正确将每列的数据分割出来保存在数组里。
目的：数据的格式是：年、月、日、平均温度、最高、最低，我想分别提取最高和最低温度储存入不同的数组当中方便调用计算

遇到的问题：1、我使用readlines的方法后，保存的格式是list，并且只是一维数组，显示的是txt文件中一整行的数据，并不能分开调用
                   2、使用.split(" ")针对空格分隔符，但是只是显示的方式改变，仍然是一整行的数据，只是每个数据前都多了一个字母t，并且数据间以斜杠区分开。
                   3、我并不明确知道txt文件内数据的行数，只知道1961-2014，其中包括闰年，我不太清楚如何存储后方便对日数据处理





主要参考的是 平流层的萝卜 的http://bbs.06climate.com/forum.p ... 6334&extra=page%3D1，主要是卡在了如何分别读取每一行的数据上，

1. list=os.listdir('e://data//temp')
   
2. filename=[]
   
3. for element in list:
   
4.     if element.find('txt')!=-1:
   
5.         filename.append(element)
   
6. 
   
7. tmin=[];tmax=[]
   
8. for name in filename:
   
9.     f=open('e://data//temp//'+name,'r')
   
10.     #print (f)
    
11.     val=[]
    
12.     content=f.readlines()
    
13.     #print (len(content))  #每个txt文件内数据量19723
    
14.     for ii in np.arange(len(content)):#开始逐行读取数据
    
15.         val.append(。。。。？)

复制代码

谢谢各位前辈帮助！



问题以解决，后来仔细看了平流层的萝卜 发的帖子，发现自己还是没有看清每一条语句的意思

1. for name in filename:
   
2.     f=open('e://data//temp//'+name,'r')
   
3.     #print (f)
   
4.     val=[];t=[];tmax=[];tmin=[]
   
5.    
   
6.     content=f.readlines()
   
7.     #print (len(content))  #每个txt文件内数据量19723
   
8.     for ii in np.arange(len(content)):  #开始逐行读取数据
   
9.     <b>val=content[ii].split()         ############分割数据！！！！###############</b>
   
10.      #强制将数据改为float格式防止后面出错
    
11.     t.append(float(val[3]))
    
12.     tmax.append(float(val[4]))
    
13.     tmin.append(float(val[5]))
    
14.    

复制代码

qqqin

试试用numpy或者pandas读txt

mockings

qqqin 发表于 2018-4-23 01:09
试试用numpy或者pandas读txt

嗯，numpy我用的是np.readlines()  ，pandas也有过尝试，但是不太清楚有什么具体的使用方法可以指定列读取数据。。。
请问可以详细一点么，谢谢

qqqin

mockings 发表于 2018-4-23 09:42
嗯，numpy我用的是np.readlines()  ，pandas也有过尝试，但是不太清楚有什么具体的使用方法可以指定列读 ...

np.loadtxt(),或者pd.read_table(),具体参数可能得根据你文件里的内容去设定,
然后就可以通过各种方式索引了.

daidanqiong

txt文件里面形式能发张小截图么，最高，最低，平均温度都是在一个txt里？

mockings

daidanqiong 发表于 2018-4-26 08:04
txt文件里面形式能发张小截图么，最高，最低，平均温度都是在一个txt里？

嗯哼，问题已经解决了，谢谢了
最后  用了.split()分割后取了指定列

反战Z

学习一下，多谢分享

Zery冬日的激情

放出代码来学习一下啊

sosxiaohei

感谢楼主的分享，很有用的代码