python多进程Multiprocessing使用问题

水底游

代码：

1. # /usr/bin/python
   
2. #coding:utf-8
   
3. 
   
4. import multiprocessing,os,re,time
   
5. 
   
6. begintime = time.time()
   
7. def mtlogGzip(gzipfile):
   
8.     #print 'ddd'
   
9.     os.popen('tar -zcf %s.gz %s' %(gzipfile,gzipfile)).readline()
   
10. 
    
11. def muti_gzip():
    
12.     pool = multiprocessing.Pool(processes=4)
    
13.     for i in os.listdir('.'):
    
14.         if re.match(r'^20',i):
    
15.             print i
    
16.             pool.apply_async(mtlogGzip(i,))
    
17.     pool.close()
    
18.     pool.join()
    
19. 
    
20. 
    
21. if __name__=='__main__':
    
22.     muti_gzip()
    
23. endtime = time.time()
    
24. usetime =  endtime - begintime
    
25. print "执行脚本总用时 %s 秒" % usetime

复制代码

执行后,ps,跟top看到的内容

ps

1. [root@localhost ~]# ps aux | grep test_gzip_02.py
   
2. root     16772  0.0  0.0 334716  7204 pts/0    Sl+  10:30   0:00 python test_gzip_02.py
   
3. root     16773  0.0  0.0 183148  4928 pts/0    S+   10:30   0:00 python test_gzip_02.py
   
4. root     16774  0.0  0.0 183148  4816 pts/0    S+   10:30   0:00 python test_gzip_02.py
   
5. root     16775  0.0  0.0 183148  4816 pts/0    S+   10:30   0:00 python test_gzip_02.py
   
6. root     16776  0.0  0.0 183148  4820 pts/0    S+   10:30   0:00 python test_gzip_02.py
   
7. root     16884  0.0  0.0 103248   872 pts/1    S+   10:35   0:00 grep test_gzip_02.py

复制代码

top

1. 17108 root      20   0  4296  676  308 S  4.3  0.0   0:25.13 gzip                                                                                                                     
   
2. 17107 root      20   0  113m 1184  988 D  3.3  0.0   0:07.62 tar                                                                                                                                                                                                                                            
   
3.     1 root      20   0 19228  252  104 S  0.0  0.0   0:03.54 init                                                                                                                     
   
4.     2 root      20   0     0    0    0 S  0.0  0.0   0:11.86 kthreadd                                                                                                                  
   
5.     3 root      RT   0     0    0    0 S  0.0  0.0   0:24.89 migration/0                                                                                                               
   
6.     4 root      20   0     0    0    0 S  0.0  0.0   0:18.39 ksoftirqd/0

复制代码

可以看到top里面只有一个tar,一个gzip在执行操作，并没有多个同时进行压缩操作，这是为什么的？

zhonghua7896321

top里边的命令是在不停的根据资源消耗而变化位置。你可以查看进程嘛。

水底游

已经解决了

apply_async(func[, args[, kwds[, callback]]])
A variant of the apply() method which returns a result object.

以上是apply_async的函数原型，参数传递有问题，apply_async的第一个参数是函数对象，第二个参数是函数对象的参数，你把参数也写到第一个参数里，相当于调用函数，把函数的执行结果当第一个参数传递给了apply_async，所以等于是同步执行，正确的姿势用如下方式调用：

pool.apply_async(mtlogGzip,(i,))

回复 2# zhonghua7896321


   

reyleon

回复 3# 水底游


    长姿势了  哈哈哈

zhonghua7896321

回复 3# 水底游

对的，我没仔细看这段代码。