如何实现文件内容的并行搜素

kuluwang

如题，处理器为双核，以linux内核源代码为目标文件，利用多线程实现，线程数目可自由设定，形式为
iditify -j n  filename    -j后面的n为线程数目


我想问的是  如何实现多线程并发分解任务，同时保证每个线程所搜素的内容不重叠

[ 本帖最后由 kuluwang 于 2009-3-26 02:02 编辑 ]

kuluwang

多多支持，自己顶一下

scutan

原帖由 kuluwang 于 2009-3-25 23:49 发表
如题，处理器为双核，以linux内核源代码为目标文件，利用多线程实现，线程数目可自由设定，形式为
iditify -j n  filename    -j后面的n为线程数目


我想问的是  如何实现多线程并发分解任务，同时保证每个 ...

我想的是，用一个主线程来进行搜索的分配。具体如下：

首先，开启j个子线程，然后在主线程中chdir到你要搜索的那个目录下，此时主线程读当前目录下的所有文件。
if 该文件为目录
将这个目录传递给当前空闲的子线程
else //该文件为普通文件
检查该文件是否为你查找的那个文件

而在子线程中则：
接收主线程传递过来的路径，在该路径中搜索要搜索的那个文件
如果这个目录搜索完毕之后则等待主线程分配下一个目录

比如说在主目录下有：
a/ b/ c/ d/ e
那么主线程就将对a目录的搜索分配给第一个线程，然后将对b目录的搜索分配给第二个线程。

不过这种方式可能有个问题就是 如果a目录中的文件远远多于b c d这三个目录中的文件。此时若有2个线程，那么可能对b c d进行搜索的线程已经停止，而对a进行搜索的那个线程仍在工作。

alexhappy

原帖由 scutan 于 2009-3-26 09:09 发表
不过这种方式可能有个问题就是 如果a目录中的文件远远多于b c d这三个目录中的文件。此时若有2个线程，那么可能对b c d进行搜索的线程已经停止，而对a进行搜索的那个线程仍在工作。

那主线程再给其它空闲线程分配任务不就完了，如果最后仅此这一项任务了，那单线程不管处理多长时间，该等的还是得等

PS：好像LZ的需要是搜索指定文件的内容，而不是去搜索目录的目标文件。。。

springtty

我问个问题，也许跑题了，就是硬盘这种结构最耗时的地方是移动磁头，那么如果多个线程需要读写磁盘的位置相互距离太远，导致移动磁头的距离太长，最后程序的瓶颈出在IO上，效率还是很低？

alexhappy

原帖由 springtty 于 2009-3-26 10:01 发表
我问个问题，也许跑题了，就是硬盘这种结构最耗时的地方是移动磁头，那么如果多个线程需要读写磁盘的位置相互距离太远，导致移动磁头的距离太长，最后程序的瓶颈出在IO上，效率还是很低？

是这样的

dreamice

不知道你这个程序是怎样的，如果是多个线程，我猜测是把文件平分，然后每个线程独立搜索自己平分的那一部分

alexhappy

原帖由 dreamice 于 2009-3-26 10:42 发表
不知道你这个程序是怎样的，如果是多个线程，我猜测是把文件平分，然后每个线程独立搜索自己平分的那一部分

那这样问题又来了，假如和要搜索目标匹配的内容被你平分了，那就不匹配了。。。
算了，还是别搞多线程了，去优化搜索算法吧

scutan

原帖由 alexhappy 于 2009-3-26 09:52 发表

那主线程再给其它空闲线程分配任务不就完了，如果最后仅此这一项任务了，那单线程不管处理多长时间，该等的还是得等

PS：好像LZ的需要是搜索指定文件的内容，而不是去搜索目录的目标文件。。。

如果是搜索文件的内容，也可以这样。

Sorehead

多线程并不是灵丹妙药，并不一定会提高效率，它本身也是有缺点的，所以合适的地方才采用。
像楼主的这种情况，瓶颈在IO上，用多线程意义不大。