python多进程multiprocessing模块map_async方法使用的问题

jack1007

官方网站标准库文档里边map_async方法的用法如下：
map_async(func, iterable[, chunksize[, callback]])

这里如果我函数原型如下：
func(argv1)
我要调用map_async的话，很简单：
p.map_async(func, [1,2,3])
函数会一次取出列表的每个元素作为参数来执行func(1), func(2), func(3)

但是如果我函数原型如下：
func(argv1, argv2, argv3)
我要调用map_async的话，怎么办呢，
p.map_async(func, [(1,2,3), (4,5,6)])行不通啊！

GhostFromHeaven

回复 1# jack1007

map和map_async只支持1个参数的函数定义，把你的函数定义改一下：

func((argv1, argv2, argv3))
   

jack1007

我重新修改了函数定义
def init_sock((sev_sock, pool_size)):
    server = SockSelect(sev_sock, 20)
    server.sock_pool(pool_size)

下面调用如下：
result = p.map_async(init_sock, [(server_sock, POOL_SIZE), (server_sock, POOL_SIZE)])
运行后报错：
Exception in thread Thread-2:
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/threading.py", line 551, in __bootstrap_inner
    self.run()
  File "/usr/local/lib/python2.7/threading.py", line 504, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/local/lib/python2.7/multiprocessing/pool.py", line 319, in _handle_tasks
    put(task)
TypeError: expected string or Unicode object, NoneType found
这报错完全莫名其妙了。
另外，我单独调用init_sock((server_sock, POOL_SIZE))这样是没问题的，放到map_async里面就出问题了，有没有对map_async函数使用熟悉的朋友，帮忙想想，谢谢！

lastexile

换go语言来写吧，协程加进程，爽死你

jack1007

这模块我是不会用了，我直接手动fork俩子进程来并行处理两个select，各1000个连接socket连接。

jack1007

越来越费解了，map_async里边的函数（如init_sock），无法接受sock对象？我用普通的int对象，就可以，换sock对象就不行。我单独传sock对象给init_sock是可以的，放到map_async里边就不行了，真是无语了

program2k

楼主，根据python的multiprocessing里的说明，要传入到map_async里的函数指针，其使用的参数，必须是可以pickle的，所以这个应该就是你的错误所在。