多线程OR多进程-访存密集型应用

zylthinking

sonicling 发表于 2011-12-23 13:28
另外循环等待会影响进程的优先级，因为进程总是满满当当用完了自己的时间片，却并没做多少实际事情，而Linu ...

只需要设置成SCHED_FIFO, 然后搞上一个非常高的优先级， 然后每个核分配一个这样的线程基本就禁用了抢占了

xiboboy123

大概了解你的意思了。你是说，不同的线程统计不同的结果是把。你先前的描述：
有个公共的缓冲队列： qun（环形的）
thread 1 : 主线程。。。专门分发任务的。将数据分发到下面的 thread 2...n 自个环形队列。只传指针。
thread 2.....n...专门从自个的队列里面取数据做处理。然后统计结果。不晓得我这个描述是不是正确的。。。

zylthinking

hy036630 发表于 2011-12-23 13:47
呵呵 RingQueue里放的是数据呢  不是处理单元
处理单元一直读RingQueue里的数据，然后push到下一级的RingQ ...

100W/s 是10个线程串起来， 每个线程都 push/pop 然后什么也不干 的吞吐？？？
如果是的话， 有可能就是分工不均的原因了， 比如第一个节点处理时间占总处理时间的 90%, 那剩下的节点基本上总是在等待第一个线程了， 那么表现出来的总体性能其实就是第一个线程的性能

xiboboy123

先前的：
   这样的方式把10个线程串成一条流水线，主线程把指针push到第一个线程的环形队列，第一个线程从环形队列里面pop出来一个数据(指针)，然后处理（不会修改这个指针指向的值），然后把这个指针插入到下一个线程的队列。。（这里。。我觉得还是有点绕。你是由第一个业务线程来触发其他的线程来处理这个业务的。这个有问题的）
thread 1:
while (取数据)
{
   我先push数据到thread 2.//注意这里。。你必须处理了下面的业务，才会去取下一个任务。。这样其实并非是一个并发的处理过程。。
                           //我建议。。每个线程需要有自个的缓冲来处理，或者你对缓冲做个引用计数（如果想节省内存）。也是可以的。
  doTask()
}

xiboboy123

补充上面。你后续的业务线程，由于前面的线程必须处理玩当前的业务才会去取数据push到后面的业务线程去处理数据，这样是耽搁了后面的线程处理数据的。如果后面的业务耗时比较少，就会导致。。后面的业务线程的等待。。

moseslg

C/C++技术交流探讨。 群号： 148848632  大家可以一起来讨论  期待大家的加入。

hy036630

zylthinking 发表于 2011-12-23 14:43
100W/s 是10个线程串起来， 每个线程都 push/pop 然后什么也不干 的吞吐？？？
如果是的话， 有可能就 ...

是啊  理想情况下流水线的性能应该是处理得最慢的那个节点的性能。就好比工厂的流水线一样。

hy036630

xiboboy123 发表于 2011-12-23 14:33
大概了解你的意思了。你是说，不同的线程统计不同的结果是把。你先前的描述：
有个公共的缓冲队列： qun（ ...

是这样的 ，这样好比工厂的流水线，每个人虽然是串行的做事情，但是从流水线总体上来看，确是并行的在做。

zylthinking

hy036630 发表于 2011-12-23 15:42
是啊  理想情况下流水线的性能应该是处理得最慢的那个节点的性能。就好比工厂的流水线一样。

但你这样是解释不了为什么多进程就能避免性能下降如此剧烈的现象的。。。。代码在你哪里， 如果你不测试单纯理论上琢磨， 那不会找到原因的

ks9960

zylthinking 发表于 2011-12-23 15:47
但你这样是解释不了为什么多进程就能避免性能下降如此剧烈的现象的。。。。代码在你哪里， 如果你不测试单 ...

zylthinking 说的不错。测试一下处理性能是否按你处理单元个数的增加线性下降了，如果是的话，可以认为因为某种原因程序并未能利用上多核来同时处理。