多线程读盘的问题

gridbird

在一个C++ program 用 OpenMP来实现多线程的并行， 每个线程所做的工作都是一样的： 读盘然后做计算。 相对来说计算不太耗时，读盘的任务较重。
大家是否有处理这类问题的经验，这类问题的并行效率如何？  如果采用单线程读盘，多线程计算的话，效率是不是更高一些？

流氓无产者

gridbird 发表于 2013-02-28 23:55
在一个C++ program 用 OpenMP来实现多线程的并行， 每个线程所做的工作都是一样的： 读盘然后做计算。 相对 ...

我做过类似东西，不过是读写，理论上多变单，应该有效率提升，实际上，我测试结果，并不太大提高，也许是我的方法有问题，估计是文件系统层有优化,不过这个问题要看规模

jack1219

回复 2# 流氓无产者


--"理论上多变单，应该有效率提升" 这是为什么呢？能否请教下，学习中。谢谢。


   

yulihua49

gridbird 发表于 2013-02-28 23:55
在一个C++ program 用 OpenMP来实现多线程的并行， 每个线程所做的工作都是一样的： 读盘然后做计算。 相对 ...

openMP愚蠢得很，没什么实用价值，向这样的任务自己弄吧，一个线程读盘，发送给多线程计算。
如果文件N路并行，那就N个线程读盘，发送给多个线程计算。

linux_c_py_php

做过与磁盘拼性能的项目, 单线程最快, 4KB读写+单线程 是 关键字.

gridbird

这个和用不用OpenMP或POSIX库实现多线程关系不大，并行算法也比较简单，我的问题是 如果负载主要在读盘操作，计算时间比较少。

假设N个线程

   一个方法是：    每个线程： for (i = 0; i < 1000; i++) { 读盘 --> 计算 }
另一个方法是：    单线程读N块数据，然后对每个线程：for (i = 0; i < 1000; i++) {  计算 }

并行效率可能和盘有关系，比如SSD盘和普通盘也许有区别。

回复 4# yulihua49


   

linux_c_py_php

这些玩意我早试过了, 劝你别试了.

我的那个项目可以跑满100M带宽, 所以数据都是落入磁盘的, 当时遇到了不少问题, 最后结论就是:

1, 多线程利用多核心做按文件名为key的内存cache, 线上使用了1MB的单文件缓存.
2, 单线程取cache按照4KB一次write进磁盘, 同时该线程需要缓存fd, 避免频繁open/close.

流氓无产者

jack1219 发表于 2013-03-01 11:13
回复 2# 流氓无产者

磁盘读写的效率主要是磁头寻址时间，一般磁盘的物理磁头都不会太多，所以顺序写比乱序写要快得多