问一个关于多线程程序执行时间的问题。

kkmm0105

回复  kkmm0105

呃， 我上面说的局部貌似没说清楚……  是这个意思：
void* thread1(void* arg)
{
  ...
OwnWaterloo 发表于 2011-12-07 20:49

    很有道理啊，受益匪浅。我测试了，证明你的观点是对的。起初两个cx的地址仅差一个字节。后来我中间又定义了一些整形变量，将地址差距扩大到64字节。运行速度果然得到很大的提升。
   解释的已经很好了~ 能把这问题分析到cache细节，果然是牛人啊。我对cache的了解仅限于书本，没想到这就是一个实际的问题啊。非常感谢~

yulihua49

很有道理啊，受益匪浅。我测试了，证明你的观点是对的。起初两个cx的地址仅差一个字节。后来我中 ...
kkmm0105 发表于 2011-12-07 21:11

    我这居然没有这个问题。
我把距离拉大了，结果不变。
单7.9秒双3.9秒。

1. #include <pthread.h>
   
2. #include <stdio.h>
   
3. 
   
4. int cx1;
   
5. int non[16];
   
6. int cx2;
   
7. 
   
8. void *proc1(void *arg){
   
9.     while(1){
   
10.         if(cx1 > 900000000){
    
11.             break;
    
12.         }   
    
13.         cx1++;
    
14.     }   
    
15. }
    
16. 
    
17. void *proc2(void *arg){
    
18.     while(1){
    
19.         if(cx2 > 900000000){
    
20.             break;
    
21.         }   
    
22.         cx2++;
    
23.     }   
    
24. }
    
25. 
    
26. main()
    
27. {
    
28. pthread_t tid1,tid2;
    
29. 
    
30.     pthread_create(&tid1, NULL, proc1, NULL);
    
31.     pthread_create(&tid2, NULL, proc2, NULL);
    
32.     pthread_join(tid1, NULL);
    
33.     pthread_join(tid2, NULL);
    
34. 
    
35. };
    

复制代码

我的机器没有cache？

zylthinking

这个估计塑料袋解释的才会更彻底一些； 比如， 为什么在缓存次次命中情况下， 缓存会频繁被同步？
恐怕是处理器间同步机制吧

OwnWaterloo

回复 23# zylthinking

1. 
   
2. cpu           cpu1              cpu2
   
3. cache     [aa)[bb)[cc)...   [xx)[yy)[zz)...
   
4.               |                 |
   
5.               +-----------------+
   
6.               |
   
7. memory    [ii)[jj)[kk)...
   

复制代码

细节得找他无误……

kkmm0105

回复  zylthinking 细节得找他无误……
OwnWaterloo 发表于 2011-12-08 15:23

    我用了多个线程把一个大任务做了分割，每个线程任务都会输出一条条的包含两个整数的记录，如这样的：
         

                    12      13
                              12      14
                              13      15
                                .....
   我想把这几个线程的输出结果汇总到一个文件中去，使用什么方案能获得最短的运行时间呢。我知道用标准I/O不可重入，没计算出这个一个结果就加锁、解锁，在计算的结果有很多条记录的情况下效率是不是会很低，接近于串行了。这里我用一个全局描述符号，在每个线程中使用write能保证数据一致性吗？或者可否把输出挂到一个全局链表，最后各线程完成任务后统一输出？不过我感觉这样内存碎片多，由于结果中的记录数多所以malloc次数也很多，效率不是很高
    以上哪个方案好些，还有什么其它更好的方案吗？

kkmm0105

我这居然没有这个问题。
我把距离拉大了，结果不变。
单7.9秒双3.9秒。我的机器没有cache？
yulihua49 发表于 2011-12-08 13:54

    莫非你的机器cache中缓存的字节数多？你再拉大点地址试试，先打印下两个变量间的地址。我看了intel的一个cache行可缓存32字节的内容

给个理由先

学习，好帖。

OwnWaterloo

回复 25# kkmm0105

这问题我搞不定……
不怎么写多线程的， 接触多线程只是为了自己的代码在多线程环境下保证不出错而已……  没研究过如何发挥多核的效率……

kkmm0105

回复  kkmm0105

这问题我搞不定……
不怎么写多线程的， 接触多线程只是为了自己的代码在多线程环境下 ...
OwnWaterloo 发表于 2011-12-08 17:37

    好的，那我新开个帖子问问吧

yulihua49

我用了多个线程把一个大任务做了分割，每个线程任务都会输出一条条的包含两个整数的记录，如这样 ...
kkmm0105 发表于 2011-12-08 15:48

    如果写文件不是瓶颈，可以带锁处理的。
如果是瓶颈，可以考虑用数据库，每个线程一个数据库句柄，多线程并行批量插入。
我试过，ORACLE，OCI批量绑定变量，多线程并行插入比写文件快很多。
或采用二进制定长记录文件，为每一个线程划定数据块，每个线程一个fd，在自己的数据块中操作。