请教个思路问题

harmful_001

有以下一些数据
$  cat data
D071 BIH-S-9933 10.163.81.109 13
D071 BIH-S-231  10.163.81.109 14
B128 BIH-S-239  10.163.81.19 15
A82   BIH-S-9013 10.163.81.10 17

希望根据第三列数据的不同分添加空行，使显示效果好一些，使结果如下：
D071 BIH-S-9933 10.163.81.109 13
D071 BIH-S-231  10.163.81.109 14

B128 BIH-S-239  10.163.81.19 15

A82   BIH-S-9013 10.163.81.10 17

这是个人想到的方法

1. #!/usr/bin/env python
   
2. 
   
3. f = open('data','r')
   
4. 
   
5. wordlist = []
   
6. for lined in f.readlines():
   
7.         line = lined[:-1]
   
8.         words = line.split()
   
9.         if words[2] not in wordlist:
   
10.                 wordlist.append(words[2])
    
11.                 print "\n"+line
    
12.         else:
    
13.                 print line
    
14. 
    
15. print ""
    
16. f.close()

复制代码

个人感觉还可以更简单，哪位高人指点一下解决的思路，or 贴一下代码看看有何更好的方法，以供学习，谢谢！

t6760915

1. #coding=utf-8
   
2. 
   
3. lines = []
   
4. for line in open('b.txt', 'r'):
   
5.     line = line.strip()
   
6.     fields = line.split()
   
7.     fields = [f.strip() for f in fields]
   
8.     lines.append(fields)
   
9. 
   
10. #lines = sorted(lines, key=lambda x:x[2], reverse=True)
    
11. 
    
12. i = 0
    
13. frontLine = ''
    
14. result = []
    
15. for line in lines:
    
16.     linestr = ' '.join(line)
    
17. 
    
18.     if i > 0 and not line[2] == frontLine:
    
19.         result.append('\n')
    
20. 
    
21.     result.append(linestr)
    
22.    
    
23.     frontLine = line[2]
    
24.     i += 1
    
25. 
    
26. print '\n'.join(result)

复制代码

我试了下。不过处理的文件太大的话就不能用我这个了

luffy.deng

wordlist = []会很大的话 可以考虑定义成字典。

t6760915

wordlist = []会很大的话 可以考虑定义成字典。
luffy.deng 发表于 2010-06-24 14:52

    字典是很快，不过数据量太大的时候你也载入不到内存中啊。还是就是字典在一定数量级比如千万的时候也快不到什么地方去。哈

luffy.deng

回复 4# t6760915
我只是觉得wordlist比较大的时候，  if words[2] not in wordlist 操作会比  wordlist.has_key(words[2])慢，具体还得测试了才知道。

t6760915

回复  t6760915
我只是觉得wordlist比较大的时候，  if words[2] not in wordlist 操作会比  wordlist.ha ...
luffy.deng 发表于 2010-06-24 18:44

    这确实是比list快多了，可以采用存储md5的方法避免数据量比较大的情况。不过这个问题也不涉及到数据大小的问题，别一次全部载入就可以了，处理完就从内存里删应该不会出什么问题

Kabie

数据是有序的吗？

会出现这样的数据么

1. 
   
2. D071 BIH-S-231  10.163.81.109 14
   
3. B128 BIH-S-239  10.163.81.19 15
   
4. A82   BIH-S-9013 10.163.81.10 17
   
5. D071 BIH-S-9933 10.163.81.109 19

复制代码

harmful_001

回复 7# Kabie


    数据是有序的，即第三列相同的数据是连在一起的，只是数量不指定，有可能一个ip只有1行数据，又或者有上百行这样。整个data文件行数会变化，最多会有3k～4k行的样子。

D071 BIH-S-9933 10.163.81.109 13
D071 BIH-S-231  10.163.81.109 14
B128 BIH-S-239  10.163.81.19 15
A82   BIH-S-9013 10.163.81.10 17
A82   BIH-S-433 10.163.81.10 17
B34   BIH-S-0933 10.163.81.10 17

harmful_001

回复 3# luffy.deng


    请教下，在这里怎么引用字典来做呢？能结合代码说说吗？谢谢！

t6760915

1. #coding=utf-8
   
2. 
   
3. f = open('data','r')
   
4. 
   
5. wordDict = {}
   
6. 
   
7. for lined in f:
   
8.         line = lined[:-1]
   
9.         words = line.split()
   
10.         
    
11.         ip = words[2]
    
12.         if wordDict.has_key(ip):
    
13.             print line
    
14.         else:
    
15.             wordDict[ip] = 1
    
16.             print "\n"+line
    
17. 
    
18. print ""
    
19. 
    
20. f.close()

复制代码