逐个计算文件夹内的文件内数据

yuexiande

python 提出文件夹内所有的 csv文件

csv是按照时间来命名的

2015-10-08.csv
2015-10-09.csv
2015-10-10.csv
2015-10-11.csv
2015-10-12.csv
2015-10-13.csv

如何实现从按照时间排序来读取文件，并且计算文件内的数据

单个文件读取方面 我试了逐行读取：

s = open('C:/Users/yue/000876/2015-10-091.csv','r').readlines()

但是数据是用逗号分割的，
,T,P,C,V,A,T
0,15:00:03,16.82,0.01,0,0,Z
1,14:59:58,16.81,-0.01,30,50429,B
2,14:59:53,16.82,0.01,80,134896,B
3,14:59:43,16.81,--,10,16810,M
4,14:59:43,16.81,-0.01,42,71946,M
5,14:59:38,16.82,--,4,6728,M
6,14:59:33,16.82,0.02,17,28930,B

实际数据是这样排列的csv，每行的单个数据都是用逗号分割的。
我想要计算 每行的倒数第二个数据
0
50429
134896
16810
71946
6728
28930
判断如果这个数据 大于>5000 再判断倒数第一个数据如果为B 则+1 如果是M则 -1 如果是Z 则 +0，计算出所有行的总和。

每个文件按照文件名计算，把所有的计算结果，输出到另外一个TXT上，
输出格式：
时间（csv文件名），每个文件的计算结果总和，每个文件的第一行的（第三个数据）和最后一行的（第三个数据）

求帮忙解决一下这个问题

MMMIX

回复 1# yuexiande


    可以参考下这个实现：

#!/usr/bin/env python3

import sys
import os
import csv

def summarize(path):
    is_header = True
    third1, third2 = None, None
    sum = 0
    with open(path) as file:
        csv_reader = csv.reader(file)
        for row in csv_reader:
            if is_header:
                is_header = False
                third1 = row[2]
                continue
            third2 = row[2]
            if int(row[-2]) > 5000:
                if row[-1] == "B":
                    sum += 1
                elif row[-1] == "M":
                    sum -= 1
        print(os.path.basename(path), sum, third1, third2, sep = '  ')

def main():
    """Usage: sum_com dir"""

    dir = sys.argv[1]
    ext = os.path.extsep + 'csv'
    files = sorted([ file for file in os.listdir(dir)
                     if os.path.splitext(file)[1] == ext ])
    for file in files:
        path = os.path.join(dir, file)
        summarize(path)

if __name__ == '__main__':
    main()

wencycool

回复 1# yuexiande


   我没有给你实现输出到一个文件下,是直接打印出来了:
你需要配置的地方只有一个就是filepath,这个是你csv文件所在的目录。
该脚本会遍历你制定目录下所有层级目录中存在<时间格式>.csv文件,并且将结果打印到屏幕上，如果你需要写入文件，可以自己来实现，剩下的就很简单了。
经过测试符合你的需要

1. 
   
2. #conding:utf-8
   
3. import os
   
4. import sys
   
5. import string
   
6. import re
   
7. #print sys.getdefaultencoding()
   
8. reload(sys)
   
9. sys.setdefaultencoding('utf-8')
   
10. #print sys.getdefaultencoding()
    
11. myValue1=5000
    
12. #filename="D:\\tmp\\tt\\file1.txt"
    
13. filepath=r'D:\tmp\tt'
    
14. def getSum(filename):
    
15.         if not os.path.isfile(filename):
    
16.                 print "The file : {} is not exist !!!".format(filename)
    
17.                 return 0
    
18. 
    
19.         f=open(filename,'r')
    
20.         lines=f.readlines()
    
21.         f.close()
    
22.         total=0
    
23.         for line in lines:
    
24.                 line=line.strip()
    
25.                 s1 = line.split(',')[-2]
    
26.                 s2 = line.split(',')[-1]
    
27. 
    
28.                 if not s1.isalnum():
    
29.                         print "Thers's error on line:{},cannot \
    
30.                         trans {} to int".format(line,s1)
    
31.                         continue
    
32.                 s1=string.atoi(s1)
    
33.                 if s1 > myValue1:
    
34.                         if s2 == 'B':s1=s1+1
    
35.                         elif s2 == 'M':s1=s1-1
    
36.                 total=total+s1
    
37.         first_value=lines[0].strip().split(',')[2]
    
38.         last_value=lines[-1].strip().split(',')[2]
    
39.         return [total,first_value,last_value]
    
40. 
    
41. 
    
42. 
    
43. #pattern
    
44. p1=r'\d{4}-\d{2}-\d{2}\.csv'
    
45. pattern=re.compile(p1,re.I)
    
46. 
    
47. csvfilelist=[]
    
48. for fileinfo in os.walk(filepath):
    
49.         for filename in fileinfo[2]:
    
50.                 filename_abs=os.path.join(fileinfo[0],filename)
    
51.                 if pattern.search(filename_abs):
    
52.                         csvfilelist.append(filename_abs)
    
53. 
    
54. 
    
55. for csvfile in csvfilelist:
    
56.         print "{},{},{},{}".format(csvfile,\
    
57.                 getSum(csvfile)[0],getSum(csvfile)[1],getSum(csvfile)[2])

复制代码

yuexiande

回复 3# wencycool

为什么我修改了目录以后运行是这样的

Traceback (most recent call last):
  File "jisuan.py", line 56, in <module>
    getSum(csvfile)[0],getSum(csvfile)[1],getSum(csvfile)[2])
  File "jisuan.py", line 31, in getSum
    s1=string.atoi(s1)
  File "D:\python\lib\string.py", line 403, in atoi
    return _int(s, base)
ValueError: invalid literal for int() with base 10: 'amount'


非常感谢你的回答，因为我刚学python 所以对于代码修改还不是很懂