多线程OR多进程-访存密集型应用

zylthinking

hy036630 发表于 2011-12-22 08:08
的确是这样的，我觉得也不应该是忙等的问题，应为机器是16线程的机器，按照道理至少有8个独立线程同时跑，
...

http://bbs.chinaunix.net/thread-3626809-1-1.html 看看这个会不会有帮助

hy036630

zylthinking 发表于 2011-12-22 10:17
http://bbs.chinaunix.net/thread-3626809-1-1.html 看看这个会不会有帮助

谢谢啊!
这个问题我注意到了，上文说得cache伪共享问题，是说如果多个线程同时需要更新同一cache行 那么根据MESI（缓存一致性协议）一个线程对cache行修改，会导致其他核的该cache行无效，同时还要write-back本cache行的数据。这样速度可能比不用cache还慢。
不过我的程序共享的数据是不会更新的，也就是只读的，是不是说不会牵涉到这个问题。

zylthinking

hy036630 发表于 2011-12-22 11:42  谢谢啊!  这个问题我注意到了，上文说得cache伪共享问题，是说如果多个线程同时需要更新同一cache行 那 ...

你每线程的对列中的变量更新呢

hy036630

zylthinking 发表于 2011-12-22 13:11
你每线程的对列中的变量更新呢

{:3_187:}
哎 一个人的想法还是有很多漏洞啊  先不说这里有没有问题 至少我以前没有考虑这个方面。谢了

hy036630

我测试了一把，没什么效果，在队列的本身的数据中间每个字段中间加上了56个字节，加上自己8个字节，每个数据占一条缓存行，其实队列的吞吐非常大，在我测试的PCServer上有打败100W/s的吞吐。
但是处理数据1个线程是3W/thread 10个线程差不多只有3000/thread  队列应该不是主要问题，
应该是处理的过程出了问题，处理的代码就在上面，都不超过100行
什么东西能够如此影响性能，{:3_186:}

zylthinking

hy036630 发表于 2011-12-22 14:21
我测试了一把，没什么效果，在队列的本身的数据中间每个字段中间加上了56个字节，加上自己8个字节，每个数据 ...

如果是这个原因， 加任何padding都不可能有用， 因为无论你加什么padding, 也改变不了2个核心同时访问一个变量的事实； 要命的是， 你的 Bqueque变量 AB 共用， Cqueue, BC共用， Dqueue CD共用。。。。。。。

zylthinking

应该是处理的过程出了问题，处理的代码就在上面，都不超过100行

如果处理过程出了问题， 我想不出为什么多进程反而不出问题的理由

hy036630

是啊 正如你所说的  这个是不能改变的
队列的影响真有这么大么{:3_185:}  毕竟只是一个指针队列，那要如何避免呢

moseslg

数据大 可以考虑写内存

zylthinking

hy036630 发表于 2011-12-22 15:15
是啊 正如你所说的  这个是不能改变的
队列的影响真有这么大么  毕竟只是一个指针队列，那要如何 ...

只是怀疑而已， 你需要验证到底是不是这个原因才能决定下一步啊