Python多线程问题

z0415010

各位好：

遇到一个问题，用户指定线程数量，来并行执行N条命令，请问用多线程怎么实现呢？

我能想到的方法是，先创建用户指定的线程数量，比如5个，然后先执行前5条命令，如果某一个线程结束了，直接从剩余的命令中拿一条继续执行，直到所有的命令执行完。

可是好像不容易实现。

哪位能帮忙实现吗？谢谢了。

Linux_manne

若干个 线程... lock 方式读取queue 中的command,取到后释放...直到queue 为空即可...

Hadron74

回复 1# z0415010
试着写了一个，应该满足你的要求。抛砖引玉：

1. 
   
2. import threading
   
3. import time
   
4. from collections import deque
   
5. 
   
6. command_list = deque([ "sleep {} ".format(i) for i in range(1,10,1)])
   
7. 
   
8. def worker(command):
   
9.     from subprocess import call
   
10.     call(command,shell=True)
    
11.     print "Finished {}".format(command)
    
12.     return
    
13. 
    
14. NUMBER_THREADS = 5
    
15. TIME_INTERVAL = 0.5
    
16. 
    
17. def run():
    
18.     command = command_list.pop()
    
19.     t = threading.Thread(target=worker, args=(command,))
    
20.     t.start()
    
21. 
    
22. for i in range(NUMBER_THREADS):
    
23.     run()
    
24. 
    
25. while command_list:
    
26.     time.sleep(TIME_INTERVAL)
    
27.     alive_threads = threading.enumerate()
    
28.     lat = len(alive_threads)
    
29.     if lat == 1 : break
    
30.     if lat <= NUMBER_THREADS : run()

复制代码

1. Finished sleep 5
   
2. Finished sleep 6
   
3. Finished sleep 7
   
4. Finished sleep 8
   
5. Finished sleep 9
   
6. Finished sleep 4
   
7. Finished sleep 1
   
8. Finished sleep 2
   
9. Finished sleep 3
   

复制代码

q1208c

回复 1# z0415010

multithreading 中有现成的实现， 还有现成的例子。


   

Hadron74

回复 4# q1208c

能贴出来吗？多线程不熟，正好学学。谢谢！
   

mswsg

假设你使用的是multiprocessing的Pool，是使用多进程实现了concurrency
from multiprocessing import Pool
如果把这个代码改成下面这样，就变成多线程实现concurrency
from multiprocessing.dummy import Pool
两种方式都跑一下，哪个速度快用哪个就行了。

这个参考不错
h ttps://segmentfault.com/a/1190000000414339

Hadron74

回复 6# mswsg

这个好！