[请教]一种多进程的实现方法

brilliantcn

一种多进程的实现方法,
进程要求是这样的:父进程根据配置或者任务数产生固定数量的进程数来完成大量的任务,如果某一子进程将任务完成,子进程便退出,父进程在生成一个新的子进程来处理下一项任务.
举例说明: 共有1000个文件需要处理,父进程开10个子进程,每个子进程分配一个文件进行处理,如果某个子进程处理完成之后,子进程便退出,这是父进程再产生一个子进程,并分配一个文件给子进程处理,如果进行下去,知道1000个文件都处理完成,在处理过程中,始终保持子进程的个数为10个,知道没有文件处理为止.

我见过用 message queues写过的代码,不过 message queues技术太老,而且用户不太容易控制.

希望各位大侠提供一个 record locking 的实现方案或者例子, stream pipes的同样也可以.

谢谢!

isnowran

还是用信号灯吧

_z_

父进程中保存子进程个数，处理SIGCHLD。

brilliantcn

能描述的清楚一点吗?

JohnBull

用信号量，置初值为10。
fork之前-1，处理SIGCHLD的时候+1。

longshort

我在以前开发的一个项目中有类似的需求，解决办法的思路是：

父进程建立一个任务进程表，内容包括进程号、任务号、活动进程总数等，每个活动进程的记录项还要带一组无名管道，用于子进程与父进程的通信。每次开始建立一个任务，就打开进程表中的一项，并建立这一项的无名管道，然后fork。当子进程任务完成，通过无名管道通知父进程并退出，父进程进行相关处理并关闭无名管道、撤消进程表的相关项。

当然，信号处理要根据项目的具体要求实现。一般地，如果不需要SIGCHLD的中断处理，那么无名管道是比较合适的，实现的复杂性属于中下。

消息队列的方法是比较成熟的，但对权限的控制比较严格。事实上IPC的方法都可以用，但都要根据具体情况来选择。

JohnBull

原帖由 longshort 于 2006-11-9 10:23 发表
父进程建立一个任务进程表，内容包括进程号、任务号、活动进程总数等，每个活动进程的记录项还要带一组无名管道，用于子进程与父进程的通信。每次开始建立一个任务，就打开进程表中的一项，并建立这一项的无名管道，然后fork。当子进程任务完成，通过无名管道通知父进程并退出，父进程进行相关处理并关闭无名管道、撤消进程表的相关项。

这种方案...我替你出汗吧.....

jyh20031984

思想:进程启动时后预启动n个子进程城。父进程专门用于接收任务。只派给子进程处理。当然这里涉及到进程的调度了。

^_^。！自己想象了。这个是最好的方法。也是技术比较难的。
去google吧。一定能找到相关源码的。哈哈。

langue

原帖由 jyh20031984 于 2006-11-9 18:27 发表
思想:进程启动时后预启动n个子进程城。父进程专门用于接收任务。只派给子进程处理。当然这里涉及到进程的调度了。

^_^。！自己想象了。这个是最好的方法。也是技术比较难的。
去google吧。一定能找到相关源码的。哈哈。

阿帕奇的进程池？

yym314

我以前是搞windows，现在才搞linux。
按照我的习惯思维，这种事情用个thread pool最好。
如果一定要用进程池的话，用信号量就可以了。
信号量初始为10，每次创建进程之前-1。子进程结束的时候家1