python模拟数据库group by count怎么写？

搁浅的思恋

有一个文件内容是这样的：
A 1
A 1
A 2
B 2
C 2
D 3
E 4
F 1
G 1
我想让这个文本进行group by count最后的结果生成这样：
A 3 2 1 0 0
B 1 0 1 0 0
C 1 0 1 0 0
D 1 0 0 1 0
E 1 0 0 0 1
F 1 1 0 0 0
G 1 1 0 0 0

第一列是序号人名，第二列是总共出现的次数，第三列是当原始文件第二列等于1的总次数，第四列是当原始文件第二列等于2的总次数，总共只有4中类型

skyvoice

可以用pandas

bikong0411

最后一列是啥，你readline然后用dict去统计呗

timespace

回复 1# 搁浅的思恋

1. Python 2.7.5 (default, May 15 2013, 22:43:36) [MSC v.1500 32 bit (Intel)] on win32
   
2. Type "copyright", "credits" or "license()" for more information.
   
3. >>> some_file = '''
   
4. A 1
   
5. A 1
   
6. A 2
   
7. B 2
   
8. C 2
   
9. D 3
   
10. E 4
    
11. F 1
    
12. G 1'''
    
13. >>> from cStringIO import StringIO
    
14. >>> from itertools import groupby
    
15. >>> from collections import Counter
    
16. >>> records = []
    
17. >>> for line in StringIO(some_file):
    
18.         fields = line.strip().split()
    
19.         if len(fields) != 2:
    
20.                 continue
    
21.         records.append([fields[0], int(fields[1], 10)])
    
22. 
    
23.        
    
24. >>> records.sort(key=lambda v: (v[0], v[1])) #如果第一二列有序，省略之
    
25. >>> for k1, g1 in groupby(records, key=lambda v: v[0]):
    
26.         cnt = Counter({k2: sum(1 for _ in g2)
    
27.                        for k2, g2 in groupby(g1, key=lambda v: v[1])})
    
28.         v1, v2, v3, v4 = cnt[1], cnt[2], cnt[3], cnt[4]
    
29.         print k1, v1 + v2 + v3 + v4, v1, v2, v3, v4
    
30. 
    
31.        
    
32. A 3 2 1 0 0
    
33. B 1 0 1 0 0
    
34. C 1 0 1 0 0
    
35. D 1 0 0 1 0
    
36. E 1 0 0 0 1
    
37. F 1 1 0 0 0
    
38. G 1 1 0 0 0
    
39. >>>  

复制代码

icymirror

回复 1# 搁浅的思恋


    感觉像是大量数据分析过程中的需求。

1. #-------------------------------------------------------------------------------
   
2. # To count the data:
   
3. #    Top level Data Structure: Dict: name as key, freq info as value
   
4. #    Freq info Data Structure: Dict: data key, frequency value
   
5. #        further freq: since 0 will not appear as key, treat is as total freq
   
6. #-------------------------------------------------------------------------------
   
7. 
   
8. import os
   
9. import collections
   
10. 
    
11. def count_freq(filename):
    
12.     '''Cound name and data frequency.'''
    
13.     # pre-check info
    
14.     if os.path.isfile(filename) == False:
    
15.         return None
    
16. 
    
17.     # Open files.
    
18.     file_handle = open(filename)
    
19.     result = collections.defaultdict(dict)
    
20.     try:
    
21.         # Based on data, summary data into dict
    
22.         for line in file_handle.readlines():
    
23.             key, value = line.split()
    
24.             # split value is the key for freq-count of this entity
    
25.             freq_dict = result[key]
    
26.             freq_dict[0] = freq_dict.get(0, 0) + 1
    
27.             freq_dict[value] = freq_dict.get(value, 0) + 1
    
28.     finally:
    
29.         file_handle.close()
    
30.         return result
    
31. 
    
32. def main():
    
33.     import pprint
    
34.     result = count_freq('freq_data.txt')
    
35.     for key, value in result.iteritems():
    
36.         print('{name}\t{total}\t{col1}\t{col2}'.format(
    
37.             name = key,
    
38.             total = result[key][0],
    
39.             col1 = result[key].get('1', 0),
    
40.             col2 = result[key].get('2', 0)))

复制代码

timespace

如果文件第一二列有序，不论文件多大，可以渐进遍历同时计数输出，时间和空间复杂度可以控制得很好：

1. 
   
2. >>> from cStringIO import StringIO
   
3. >>> from itertools import groupby
   
4. >>> from collections import Counter
   
5. >>> some_file = '''
   
6. A 1
   
7. A 1
   
8. A 2
   
9. B 2
   
10. C 2
    
11. D 3
    
12. E 4
    
13. F 1
    
14. G 1'''
    
15. >>> def get_record(fobj):
    
16.         for line in fobj:
    
17.                 fields = line.strip().split()
    
18.                 if len(fields) != 2: continue
    
19.                 yield fields[0], int(fields[1], 10)
    
20. 
    
21. >>> for k1, g1 in groupby(get_record(StringIO(some_file)), key=lambda v: v[0]):
    
22.         cnt = Counter({k2: sum(1 for _ in g2) for k2, g2 in groupby(g1, key=lambda v: v[1])})
    
23.         v1, v2, v3, v4 = cnt[1], cnt[2], cnt[3], cnt[4]
    
24.         print k1, v1 + v2 + v3 + v4, v1, v2, v3, v4
    
25. 
    
26. 
    

复制代码

如果文件第一二列无序，文件很大（内存不够），或者用sort等支持外部排序的工具排序，或者就是分割文件统计然后合并。。。

如果文件不大（内存足够），不论文件第一二列是否有序，用我最开始的办法，或dict嵌套dict统计，影响不大。