多进程删除文件

c11v11

功能很简单 就是在一个目录下面把许多的文件删除掉  用4个进程删除

但跑的有问题。。。 谁帮忙看看

import multiprocessing
import os
import time
def printid():
    print os.getppid()
    print os.getpid()
def func():
    printid()
    files=os.listdir('/home/data/')
    for i in files:
        os.remove('/home/data/'+ i)
        print i + "deleted"
        time.sleep(1)
    print "die"

if __name__ == "__main__":
    printid()
    pool = multiprocessing.Pool(processes=4)
    for i in xrange(3):

        pool.apply_async(func)
    pool.close()
    pool.join()
    print "Sub-process(es) done."
~

c11v11

感觉是四个进程干的是相同的事情  根本就没有并行处理
估计要在func里面加入一些条件。。

weishuo1999

你也没说清楚会有什么问题，我觉得你可以这样，删除的时候多进程删除，而不是遍历文件的时候多进程执行，因为可能4个进程都遍历到了文件
然后其中某个文件被某一个进程删除了，下一个进程尝试删除的时候，发现文件已经没有了，就报错了

wenhq

pdb 看下 ？

bikong0411

3F   说的对

c11v11

哈哈 搞好了  要把所有的文件放在pool里面 然后用多个进程对他们处理
import multiprocessing
import os
import time
def printid():
#    print os.getppid()
    print os.getpid()
def func(msg):
    printid()
    os.remove('/home/data/' + msg)
    print msg + "deleted"
  #  time.sleep(1)
    print "die"

if __name__ == "__main__":
    printid()
    pool = multiprocessing.Pool(processes=10)
    files=os.listdir('/home/data/')
    for i in files:
   # for i in xrange(10):
        pool.apply_async(func,(i,))
    pool.close()
    pool.join()
    print "Sub-process(es) done."

c11v11

1000 个文件  用10个进程去删除 每个进程差不多能删除100来个 不错哦

c11v11

相当有成就感。。。删的刷刷快。。。