一个python程序优化问题

anna_bi

现有一个文件，test.txt,部分内容如下：

1. rs376643643     chr1    10020   A       deletion        
   
2. rs373328635     chr1    10055   A       insertion      
   
3. rs144773400     chr1    10145   A       deletion        
   
4. rs375931351     chr1    10147   C       deletion        
   
5. rs367896724     chr1    10177   C       insertion       0.4253
   
6. rs143255646     chr1    10229   A       deletion        
   
7. rs200462216     chr1    10229   AACCCCTAACCCTAACCCTAAACCCTA     deletion        
   
8. rs376846324     chr1    10231   C       deletion        
   
9. rs540431307     chr1    10235   A       insertion       0.001198
   
10. rs375044980     chr1    10250   AC      deletion        
    
11. rs140194106     chr1    10255   A       deletion        
    
12. rs201106462     chr1    10329   ACCCCTAACCCTAACCCTAACCCT        deletion        
    
13. rs150969722     chr1    10330   C       deletion        
    
14. rs145072688     chr1    10352   A       insertion       0.4375
    
15. rs555500075     chr1    10352   A       insertion       0.4375
    
16. rs147093981     chr1    10383   C       insertion      
    
17. rs373144384     chr1    10390   C       deletion        
    
18. rs56289060      chr1    10433   C       insertion      
    
19. rs112766696     chr1    10440   C       deletion        
    
20. rs376342519     chr1    10617   CGCCGTTGCAAAGGCGCGCCG   deletion        0.993
    
21. rs538791886     chr1    13290   CT      deletion        0.003994
    
22. rs201747181     chr1    13958   C       deletion        
    
23. rs370886505     chr1    14398   TGT     deletion        
    
24. rs372598081     chr1    14512   AG      deletion        
    
25. rs368127301     chr1    15903   C       insertion       0.4411
    
26. rs557514207     chr1    15903   C       insertion       0.4411
    
27. rs533210981     chr1    16912   A       deletion        0.000599
    
28. rs376400995     chr1    28327   T       deletion        
    
29. rs373063181     chr1    28590   TTGG    insertion      
    
30. rs369270395     chr1    30868   CTCT    deletion        
    
31. rs370806791     chr1    40894   A       insertion      
    
32. rs545414834     chr1    46286   TAT     deletion        0.004992
    
33. rs199681827     chr1    46402   TGT     insertion      
    
34. rs200430748     chr1    47190   A       insertion      
    
35. rs564373876     chr1    48174   T       insertion       0.001198
    
36. rs200846102     chr1    49515   G       deletion        
    
37. rs374041055     chr1    50300   A       deletion        
    
38. rs528351826     chr1    51715   AGTT    deletion        0.0009984
    
39. rs546829777     chr1    51973   GAC     deletion        0.000599
    
40. rs568235219     chr1    52153   TAAT    deletion        0.000599
    

复制代码

要进行如下处理：

1. #!usr/bin/env python
   
2. rs={}
   
3. for i in range(1,23):
   
4.     rs_key='chr'+str(i)
   
5.     rs[rs_key]=''
   
6. rs['chrX']='';rs['chrY']='';rs['chrM']=''
   
7. dbINDE_file=open('/ifs4/B2C_NIFTY/USER/quning/data/dbINDEL_142','r')
   
8. for line in dbINDE_file:
   
9.     bo=line[0:-1].split('\t')
   
10.     len_str=str(len(bo[3]))
    
11.     if len(bo)>5:
    
12.         bo[0]=bo[0]+':'+bo[5]
    
13.     if bo[4]=='insertion':
    
14.         bo[2]=float(bo[2])+1
    
15.         rs[bo[1]] += (str(bo[2])+'ins'+bo[3]+' '+bo[0]+' ')
    
16.     elif bo[4]=='deletion':
    
17.        rs[bo[1]] += (str(bo[2])+'del'+len_str+' '+bo[0]+' ')
    
18.     else:
    
19.        rs[bo[1]] += (str(bo[2])+'del'+len_str+' '+bo[0]+' ')
    
20.        bo[2]=float(bo[2])+1
    
21.        rs[bo[1]] += (str(bo[2])+'ins'+bo[3]+' '+bo[0]+' ')
    
22. dbINDE_file.close()
    
23. for key in rs:
    
24.     print key  
    
25.     print rs[key]
    

复制代码

由于test.txt包括chr1到chr23,和chrX,chrY,chrM的所有内容，数据很多，运行很慢，哪位大神可以帮忙优化一下，提高运行速度？先谢谢啦！

MMMIX

回复 1# anna_bi


    你应该在处理数据的时候只处理数据，没必要在中间的处理过程中不断的构造输出结果，只需要把必要的数据记录下即可，在输出的时候再构造必要的字符串。这样会少消耗不少的内存和处理时间。

icymirror

回复 1# anna_bi

• 如果文件不是非常大，同时内存足够的情况下，把文件内容的读取和数据处理分开，可以把读取集中处理，减少每次读一小部分带来的效率损耗；同时，由于是读取之后处理，所有数据是在内存中，效率会有一定提升。
• 因为你的数据处理是针对每条记录进行的，处理过程相对独立，可以通过引入multiprocessing.Pool，使用map来使用多个进程来处理数据，去提高处理速度，但是如果数据量不大的情况下，或者CPU core只有一个，速度不会有明显提升，甚至会有下降可能出现。
  

yyl910606

代码瓶颈在于 字符拼接
测试机器  amd 4核 6G内存
不拼接字符串  24M 的数据 14秒处理完成
拼接字符串 24M数据  1个小时

1. #coding:utf8       
   
2. from time import sleep
   
3. import multiprocessing
   
4. from multiprocessing.process import Process
   
5. import threading
   
6. import os
   
7. 
   
8. 
   
9. def process_func(line):
   
10.         result = {}
    
11.         bo = line[:-1].split()
    
12.         len_str = str(len(bo[3]))
    
13.         if len(bo) > 5:
    
14.                 bo[0] = bo[0] + ":" + bo[5]
    
15.         if bo[4] == 'insertion':
    
16.                 bo[2] = float(bo[2])+ 1
    
17.                 if bo[1] in result:
    
18.                         result[bo[1]] += str(bo[2]) + 'ins' + bo[3] + ' ' + bo[0] + ' '
    
19.                 else:
    
20.                         result[bo[1]] = str(bo[2]) + 'ins' + bo[3] + ' ' + bo[0] + ' '
    
21. 
    
22.         elif bo[4] == 'deletion':
    
23.                 if bo[1] in result.keys():
    
24.                         result[bo[1]] += str(bo[2]) + 'del' + len_str + ' ' + bo[0] + ' '
    
25.                 else:
    
26.                         result[bo[1]] = str(bo[2]) + 'del' + len_str + ' ' + bo[0] + ' '
    
27.         else:
    
28.                 if bo[1] in result.keys():
    
29.                         result[bo[1]] += str(bo[2])+'del'+len_str+' '+ bo[0]+' '
    
30.                         b[2] = float(bo[2]) + 1
    
31.                         result[bo[1]] += str(bo[2])+'ins'+bo[3]+' '+ bo[0]+' '
    
32.                 else:
    
33.                         result[bo[1]] = str(bo[2]) + 'del'+len_str+' '+ bo[0]+' '
    
34.                         b[2] = float(bo[2]) + 1
    
35.                         result[bo[1]] += str(bo[2]) + 'ins' + bo[3] + ' '+ bo[0]+' '
    
36. 
    
37.         return result
    
38. 
    
39. def worker(rqueue, wqueue):
    
40.         while True:
    
41.                 if not rqueue.empty():
    
42.                         line = rqueue.get()
    
43.                         rs = process_func(line)
    
44.                         wqueue.put(rs)
    
45.                 else:
    
46.                         sleep(0.1)
    
47. 
    
48. def dict_process(wqueue):
    
49.         while True:
    
50.                 if not wqueue.empty():
    
51.                         d = wqueue.get()
    
52.                         for i in d.keys():
    
53.                                 global result
    
54.                                 result[i] += d[i]
    
55.                 else:
    
56.                         sleep(0.1)
    
57. 
    
58. 
    
59. def main():
    
60.         global result
    
61.         result = {'chr' + str(i): '' for i in xrange(1,23)}
    
62.         for item in ['chrY', 'chrX', 'chrM']:
    
63.                 result[item] = ''
    
64.         rqueue = multiprocessing.Queue()
    
65.         wqueue = multiprocessing.Queue()
    
66.         prs_num = multiprocessing.cpu_count()
    
67.         prs  = []
    
68.         for i in xrange(prs_num):
    
69.                 prs.append(Process(target=worker, args=(rqueue, wqueue,)))
    
70.         map(lambda x: x.start(), prs)
    
71.         dict_process_thread = threading.Thread(target=dict_process, args=(wqueue,))
    
72.         # 字符瓶颈
    
73.         # dict_process_thread.start() 关闭后速度明显快很多
    
74.         dbINDE = open('data.txt')
    
75.         while True:
    
76.                 line = dbINDE.readline()
    
77.                 if not line:
    
78.                         break
    
79.                 rqueue.put(line)
    
80.                 #print wqueue.get()
    
81.         while True:
    
82.                 #if wqueue.qsize() == 0:  # 开启字符拼接
    
83.                 if wqueue.qsize() != 0:  #关闭字符拼接
    
84.                         # kill child process
    
85.                         #print result
    
86.                         for p in prs:
    
87.                                 pid = p.pid
    
88.                                 if pid:
    
89.                                         os.kill(pid, 9)
    
90. 
    
91.                         # kill self
    
92.                         sleep(1)
    
93.                         os.kill(os.getpid(), 9)
    
94. 
    
95. 
    
96.        
    
97. 
    
98. if __name__ == '__main__':
    
99.         main()
    

复制代码

wenerban

可以考虑以下的优化步骤：
1. 使用python2.6，安装psyco加速
2. 读文件使用文件快读取，读取速度是逐行的4倍以上
3. 读取一块后使用线程处理，保持读和处理并行处理