多线程通信求助

fenghw8088

请教各位高手，我最近优化程序涉及到多线程通信求教，问题是这样的。
多个生产者线程产生数据传递给一个消费者线程，数据量是比较大的，我能想到的是用一个共享缓冲区传递数据，其中加锁实现互斥保护，问题是不清楚：
1、每个生产者和消费者每读写一行操作一次缓冲区，和线程自己再维护一个缓冲区，多行读写一次效率高？
2、是传递字符串的行效率高，还是传结构效率高？
3、单线程把所有事情都干了，避免了数据传递，但没并发，是不是速度一定慢呀？


我没有做过测试，希望有实际经历的各位给指点一下，多谢！

hellioncu

1、没看明白
2、一般结构定长，效率高点。当然如果字符串往往很短，但结构定义得很大，那说不定就字符串效率高了。
3、不一定

w_anthony

1、如果生产者过多，并且读写共享缓冲区需要较长时间的话，那么每个生产者有各自的缓冲区比较好，这样可以将数据写入自己的缓冲区然后只将自己的标志写入共享缓冲区（这样写入较快）；而消费者线程可以从共享缓冲区得到“标志”，再到相应的生产者缓冲区取数据。这样在交互过程中，所有线程都会竞争的共享缓冲区的各自占用时间是非常短的，一般不会成为瓶颈。
2、同意LS
3、如果这个模型里面有很多IO等待时间（如读写文件，网络收发），那么多线程的效率将明显优于单线程。如果没有IO等待，基本都是CPU密集型的算法，如果是多核CPU，那么效率上也会有所提高，但如果只是单核CPU，那么或许还不如单线程好。

lxyscls

1、进程内部，FIFO，用指针，不用传字符串和结构体
2、保证lock的范围尽可能小，不要超过线程执行时间的10%，简单的挂指针、取指针即可
3、生产-消费，如果生产环节耗时远大于消费环节，个人觉得可以一撸到底，反之就分离

fenghw8088

之前我用处理比较简单，用单线程扫描大块内存中的数据，如同做group by运算吧，结构188个数据项，1000万行，用时2秒，不快！
这个计算改多线程涉及到的东西很多，多谢指导

回复 3# w_anthony


   

fenghw8088

扫内存的量大，CPU计算负荷不重，单线程速度不理想，不知道改多线程是否会好！因为线程之间传递数据有额外开销

回复 3# w_anthony


   

bskay

问题(需求)没有真正搞清楚之前,先别想着编码实现......

有CPU消耗性的任务和IO消耗性的任务
对于CPU消耗性性的任务.好像多线程是没有意义的(最多到CPU个数)

w_anthony

回复 6# fenghw8088


    如果是扫内存的，这个也不会有IO等待的，通常多线程的性能提升并不明显。多线程提升性能的关键是把IO等待的时间利用起来，你这个情况弄成多线程，我估计最多只能利用多核一起工作的优势。

另外关于你说的生产各自缓冲区的问题，其实4L的lxyscls说的也是一个很好的方法。但是也需要注意一点，如果生产者产生的数据和生产者本身有关，并且生产者可能随时增加或者减少，那么就不能用4L说的方式，也不能用整体一个缓冲区的方式，而只能是各自的缓冲区（比如生产者是网络连接对象，而它产生的数据在连接断开后就没有任何意义了的话）。