如何使代码在多CPU环境下运行得更有效率

无双

我不知道我的理解是不是有错
因为是以前看折

无双

http://unit.cug.edu.cn/wlzx/wlfw/LINUX_UNIX/Kernel/LinuxKernel/chapter4/chapter4.htm

   系统中最重要的资源是 CPU， 通常只有一个。 作为一个多重处理操作系统， Linux 的

目标是让系统中的每个 CPU 上面始终有一个进程在执行， 以充份利用 CPU。 如果进程

数多于 CPU 数(通常总是这样)， 多余的进程必须等待有 CPU 空闲下来才能运行。

谢谢JohnBull   兄指点
是我理解错了

magicercn

我不同意JohnBull兄的观点。
不是不能使用多线程，而是多线程用得好不好的问题。
正如蓝色键盘所说的，是程序没有实现得很均衡。

昨天我看到一本书上讲了这个问题。在这里与大家共享
其实我们讨论的问题属于程序可扩展性问题，即服务器性能的提高与CPU数量的增加成正比。但考虑到Context Switch与别的额外开销，服务器性能要达到随CPU数目翻倍而成倍增长是不可能的。最理想的结果是使服务器性能最大限度的增加。

一般的CPU都提供了Cache功能。我们设计的程序最好能利用到Cache,其次是RAM，然后是磁盘。一般在每个CPU中只使用一个线程做处理。我们尽量把相同或相近的操作放在一起来执行，这样当指令和数据被从磁盘中加载到Cache中后，就可以重复调用，不再需要跑到磁盘上去调，从而极大地提高程序的性能。

蓝色键盘

一般的CPU都提供了Cache功能。我们设计的程序最好能利用到Cache,其次是RAM，然后是磁盘。一般在每个CPU中只使用一个线程做处理。我们尽量把相同或相近的操作放在一起来执行，这样当指令和数据被从磁盘中加载到Cache中后，就可以重复调用，不再需要跑到磁盘上去调，从而极大地提高程序的性能。



谢谢你把结果拿来大家一起讨论！

你看到的是单CPU中，进程调度的处理情况。有机会你去找找多CPU体系结构中是怎么实现的。然后把结果告诉大家！

无双

许多系统上线程也是使用进程的数据结构实现的（当然有点区别，称为轻量进程）
所以我想这线程和进程是一样

我以前操作系统看的现在都快忘记了
回去补一补

cnufo

插个嘴请教一下

我要对900多个文件排序，每个文件200万行左右，总行数在1。8亿
开了十个进程排序竟然要9个小时

我直接用sort命令排序的

单个执行sort 一个文件才11分钟
为什么并行后平均下来一个进程一个小时只排序一个文件呢？

cnufo

以下是我实现的代码，请帮忙看看问题在哪里？
如何优化，9个小时实在是太久了！

1. 
   
2. while(gi_process[i]!=0)
   
3.         {
   
4.                 if(fork() == 0)
   
5.                 {       
   
6.                         char cdrsourceid;
   
7.                         int i_cdrsourceid;
   
8.                         /*LoginToDB();*/
   
9.                         LoginToDB("BILL_USER_NAME","BILL_PASS_NAME","CONNECT_STRING");
   
10.                         gi_process_id = gi_process[i];
    
11.                         /*MonitorChild(gi_process_id,"分拣子进程开始运行");*/
    
12.                         GetPreFileName();
    
13.                         while( OpenCdrFile( &cdrsourceid ) )
    
14.                         {
    
15.                                 i_cdrsourceid = atoi(&cdrsourceid);
    
16.                                 if( atoi(ptr_shm_drecs+i_cdrsourceid*10))
    
17.                                 {
    
18.                        
    
19.                                         sprintf( sort_originalfile, "%s/%d_D%04d.SORT" , rgTempFileDir , i_cdrsourceid , preproc_batch);
    
20.                                         sprintf( sort_resultfile, "%s/%d_D%04d.TMP" , rgTempFileDir , i_cdrsourceid, preproc_batch);
    
21.                                         sprintf( sort_comm, "sort -T /bill -k 2 %s >; %s" , sort_originalfile, sort_resultfile );
    
22.                                         sprintf( rm_comm, "rm %s", sort_originalfile);
    
23.                                         MonitorChild(gi_process_id,sort_comm);
    
24.                                         if( system( sort_comm ) != -1)
    
25.                                         {
    
26.                                                 if( system( rm_comm ) != -1 )
    
27.                                                 {
    
28.                
    
29.                                                         printf("processid= %d,sort_originalfile=%s\n",gi_process_id,sort_originalfile);
    
30.                                                        
    
31.                                                         continue;
    
32.                                                 }       
    
33.                                                 else
    
34.                                                 {
    
35.                                                         printf("Error occur while deleting the file %s\n",sort_originalfile);
    
36.                                                         ChildError();
    
37.                                                         return -1;
    
38.                                                 }
    
39.                                         }
    
40.                                         else
    
41.                                         {
    
42.                                                 printf(" Error occur while sorting the file %s\n", sort_originalfile);
    
43.                                                 ChildError();
    
44.                                                 return -1;
    
45.                                         }
    
46.                                
    
47.                                 }
    
48.                                
    
49.                         }
    
50.                         DestroyPreFileNameTbl();
    
51.                         exit(0);
    
52.                        
    
53.                        
    
54.                 }
    
55.                 else if(i_fork<0)
    
56.                 {
    
57.                         perror("fork failed\n");
    
58.                         system("/bill/prog_source/dispatch/killdisp");
    
59.                 }
    
60.         i++;       
    
61.         }
    

复制代码

黄山松

[quote]原帖由 "蓝色键盘"]一般的CPU都提供了Cache功能。我们设计的程序最好能利用到Cache,其次是RAM，然后是磁盘。一般在每个CPU中只使用一个线程做处理。我们尽量把相同或相近的操作放在一起来执行，这样当指令和数据被从磁盘中加载到Cache?.........[/quote 发表：


不太懂如何设计程序才能利用cache?能否请版主将明白些吗?
cache的使用是程序来控制的吗?

黄山松

除了大侠说的这么多,还有比较重要的是在驱动的程序设计中要注意的一些,比如针对中断处理,通常会配合软中断, tasklet, 下半部来处理, 此时只能用软中断或tasklet,万不可用下半部.

superdoctor

[quote]原帖由 "黄山松"]除了大侠说的这么多,还有比较重要的是在驱动的程序设计中要注意的一些,比如针对中断处理,通常会配合软中断, tasklet, 下半部来处理, 此时只能用软中断或tasklet,万不可用下半部.[/quote 发表：


即使不能直接操纵cache但是我们都知道cache里面会装些什么啦,所以程序设计还是可以间接的控制一下的

下半部是什么?"万不可用下半部"听着有点象下半身
真心请教