load average 很高,各们帮忙找找原因,是IO还是CPU还是内存问题

axoras

上面跑的WEB服务,APACHE+RESIN.
现在有时经常莫明其妙服务器好象死了似的,现在这个就是TOP信息,各们帮忙看看是什么问题,谢谢了.
服务器信息: 2G内存,P4 3.0 SATA硬盘,红帽企业版4.0
[root@myweb ~]# top
top - 13:30:31 up 4 days, 20:22,  2 users,  load average: 297.38, 143.13, 62.83
Tasks: 1868 total,   1 running, 1867 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7% us,  1.5% sy,  0.0% ni,  0.0% id, 96.5% wa,  0.3% hi,  1.0% si
Mem:   2066108k total,  2050132k used,    15976k free,    14220k buffers
Swap:  2096472k total,   296244k used,  1800228k free,   167716k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
26408 root      16   0  3888 2084  724 R  2.9  0.1   3:00.35 top               
7829 nobody    15   0  6960 3488 2148 S  0.6  0.2   0:00.27 httpd              
4651 nobody    15   0  6960 3460 2152 D  0.3  0.2   0:00.10 httpd              
4727 nobody    15   0  6960 3380 2148 D  0.3  0.2   0:00.11 httpd              
5691 nobody    15   0  6960 3464 2152 S  0.3  0.2   0:00.04 httpd              
6773 nobody    15   0  6960 3444 2140 D  0.3  0.2   0:00.01 httpd              
    1 root      16   0  1644  428  404 S  0.0  0.0   0:01.34 init               
    2 root      RT   0     0    0    0 S  0.0  0.0   0:00.07 migration/0        
    3 root      34  19     0    0    0 S  0.0  0.0   0:00.10 ksoftirqd/0        
    4 root      RT   0     0    0    0 S  0.0  0.0   0:00.08 migration/1        
    5 root      34  19     0    0    0 S  0.0  0.0   0:00.09 ksoftirqd/1        
    6 root       5 -10     0    0    0 S  0.0  0.0   0:00.05 events/0           
    7 root       5 -10     0    0    0 S  0.0  0.0   0:00.01 events/1           
    8 root       5 -10     0    0    0 S  0.0  0.0   0:00.00 khelper            
    9 root      15 -10     0    0    0 S  0.0  0.0   0:00.05 events/0           
    7 root       5 -10     0    0    0 S  0.0  0.0   0:00.01 events/1           
    8 root       5 -10     0    0    0 S  0.0  0.0   0:00.00 khelper            
    9 root      15 -10     0    0    0 S  0.0  0.0   0:00.00 kacpid

[ 本帖最后由 axoras 于 2006-12-20 13:58 编辑 ]

wolfop

96.5% wa
基本是IO问题。
贴一下iostat 1 100 的情况。
vmstat 1 100的情况。

axoras

谢谢楼上两位,
wolfop你是指发布大负荷时 iostat 1 100 的情况跟vmstat 1 100的情况吧.
我贴出现在状态,不知道有没有用.
[root@myweb ~]# top
top - 21:33:57 up 5 days,  4:25,  3 users,  load average: 1.75, 0.99, 1.06
Tasks: 784 total,   1 running, 782 sleeping,   0 stopped,   1 zombie
Cpu(s):  5.6% us,  6.1% sy,  0.0% ni, 74.5% id, 11.8% wa,  0.7% hi,  1.4% si
Mem:   2066108k total,  2049812k used,    16296k free,    38608k buffers
Swap:  2096472k total,    30096k used,  2066376k free,   871428k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND               
32691 root      17   0  4208 1360  744 R  1.3  0.1   0:00.19 top                    
9080 root      15   0  3896  740  588 S  0.3  0.0   0:02.28 rotatelogs            
9086 root      15   0  3448  752  588 S  0.3  0.0   0:38.21 rotatelogs            
9087 root      16   0  4376  748  588 S  0.3  0.0   0:18.66 rotatelogs            
29011 nobody    16   0  6456 3520 2152 S  0.3  0.2   0:00.24 httpd                  
30395 nobody    15   0  6440 3500 2148 S  0.3  0.2   0:00.05 httpd                  
31308 nobody    16   0  6440 3496 2152 S  0.3  0.2   0:00.04 httpd                  
31599 nobody    15   0  6440 3484 2148 S  0.3  0.2   0:00.05 httpd                  
31766 nobody    16   0  6440 3492 2148 S  0.3  0.2   0:00.07 httpd                  
32343 nobody    15   0  6440 3488 2148 S  0.3  0.2   0:00.04 httpd                  
    1 root      16   0  1644  432  404 S  0.0  0.0   0:01.35 init                  
    2 root      RT   0     0    0    0 S  0.0  0.0   0:00.07 migration/0            
    3 root      34  19     0    0    0 S  0.0  0.0   0:00.10 ksoftirqd/0            
    4 root      RT   0     0    0    0 S  0.0  0.0   0:00.08 migration/1            
    5 root      34  19     0    0    0 S  0.0  0.0   0:00.09 ksoftirqd/1            
    6 root       5 -10     0    0    0 S  0.0  0.0   0:00.06 events/0               
    7 root       5 -10     0    0    0 S  0.0  0.0   0:00.01 events/1      

[root@myweb ~]# iostat 1 100
Linux 2.6.9-11.ELsmp (rddns-1843)       2006年12月20日

avg-cpu:  %user   %nice    %sys %iowait   %idle
           9.71    0.00    7.50   14.36   68.43

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              37.00       939.61       464.45  411477539  203393592
sdb              12.04       431.71       125.94  189057180   55151904

avg-cpu:  %user   %nice    %sys %iowait   %idle
           3.59    0.00    6.15   17.95   72.31

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              27.84      1567.01         0.00       1520          0
sdb              10.31       395.88       371.13        384        360



[root@myweb ~]# vmstat 1 100
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
0  0  30096  17392  37748 857468    6    6    49     1   23    11 10  8 68 14
3  1  30096  15624  37760 858496    0    0  1092     0 3758  1023  6  8 78  9
1  0  30096  15760  37696 858300    0    0  1620   244 4345  1234  3  6 76 15
0  0  30096  17712  37580 856076    0    0   344     0 4174  1127 12  6 79  3
0  4  30096  17096  37628 857328    0    0  1140     0 4352  1328  8  7 57 28
1  1  30096  15960  37692 858304    0    0  1004   876 3972  1204  6  8 54 33
1  0  30096  16880  37648 857568    0    0   976    60 3989  1205  5  5 77 13
0  0  30096  16336  37676 858580    0    0   768   116 3754  1150  5  8 81  7
2  0  30096  16208  37728 858788    0    0   632     0 4123  1230  5  7 74 15
0  1  30096  15840  37824 859472    0    0   592     0 3629  1134  7  8 67 18
0  1  30096  18400  37816 858960    0    0  1036   828 3958  1176  6  7 81  6
0  0  30096  16944  37824 859732    0    0   828     0 3979  1163 10 12 74  5
0  2  30096  16320  37856 861000    0    0  1252    84 3884  1101  4  6 69 21
3  0  30096  15864  37888 862008    0    0   956     0 3730   683  4  5 77 15
0  2  30096  17080  37888 861228    0    0  1008     0 4188  1517  5  9 69 17
0  0  30096  17064  37912 861724    0    0   476   808 3977  1120  9  7 73 11
0  0  30096  17016  37936 861960    0    0   404     0 3737   993  6  7 81  7

飘雪心辰

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

原帖由 axoras 于 2006-12-20 13:56 发表
Tasks: 1868 total,   1 running, 1867 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.7% us,  1.5% sy,  0.0% ni,  0.0% id, 96.5% wa,  0.3% hi,  1.0% si
Mem:   2066108k total,  2050132k used,    15976k free,    14220k buffers
Swap:  2096472k total,   296244k used,  1800228k free,   167716k cached

你这有1868个进程，2G内存也太少了点。

原帖由 wolfop 于 2006-12-20 15:50 发表
96.5% wa
基本是IO问题。
贴一下iostat 1 100 的情况。
vmstat 1 100的情况。

有理。我估计你这个时间段里的进程在狂读硬盘，硬盘的IO带宽所限造成负载上升，将近两千个进程。
－－－－－－－－－－－－－－－－－－－
这个时间段负载是正常的。不过有个僵死进程，注意一下。

原帖由 axoras 于 2006-12-20 21:34 发表
谢谢楼上两位,
wolfop你是指发布大负荷时 iostat 1 100 的情况跟vmstat 1 100的情况吧.
我贴出现在状态,不知道有没有用.
[root@myweb ~]# top
top - 21:33:57 up 5 days,  4:25,  3 users,  load average: 1. ...

axoras

平时应该在500-800进程之间.发生高负荷的时候,APACH好象死掉似的,所以造成大量访问在WAIT中..连SSH都难连上去,
硬盘IO问题能不能通过换SCSI硬盘解决?
本来一直想写段代码监制LOAD AVERAGE情况,如果大于20就重启APACHE可以缓解一下负荷,可惜本人写会写WEB程序.LINUX上面只要一些简单的操作,系统配置就不明白了..

wolfop

大量的IO应该就是你自己的httpd需要的文件IO，导致的IOW。你的并发连接那么大，考虑用好点的存储或者加内存，增加fs cache命中，减少物理的IO。
SATA的硬盘，支撑不了太多的IO。

飘雪心辰

========================
你装着红帽4.0，有没装着sysstat包，有的话：tar cvzf aa.tar.gz /var/log/sa/sa[1-9]*
把aa.tar.gz扔出来让大家下载。
还有就是“wolfop”兄说的命令，你最好在白天高峰时执行命令的结果贴出来,晚上正常负载的时候很难说的。

axoras

谢谢各位,感动中.......现在LOAD AVERAGE 在4-7之间,截取的信息,

TO:飘雪心辰---你说的那几个包找出来不会泄漏服务器安全信息之类的吧,不好意思,我对这块不懂,因为上面跑着正式WEB服务.所以先问问

top - 19:04:12 up 6 days,  1:55,  4 users,  load average: 4.26, 4.53, 3.60
Tasks: 781 total,   3 running, 778 sleeping,   0 stopped,   0 zombie
Cpu(s): 58.9% us,  8.3% sy,  0.0% ni, 23.5% id,  6.0% wa,  0.3% hi,  3.1% si
Mem:   2066108k total,  2048092k used,    18016k free,    48628k buffers
Swap:  2096472k total,    30088k used,  2066384k free,   847984k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
28892 root      15   0  3624  784  632 S 11.4  0.0  43:58.66 iptraf            
28234 root      16   0  2724 1712  748 R  2.0  0.1   8:43.35 top               
25605 nobody    15   0  6440 3496 2148 S  0.7  0.2   0:00.11 httpd              
27025 nobody    15   0  6440 3488 2148 S  0.7  0.2   0:00.04 httpd              
9086 root      15   0  3448  752  588 S  0.3  0.0   1:41.95 rotatelogs         
24564 nobody    16   0  6440 3512 2156 S  0.3  0.2   0:00.16 httpd              
25180 nobody    16   0  6440 3500 2152 S  0.3  0.2   0:00.12 httpd              
25437 nobody    15   0  6440 3500 2148 S  0.3  0.2   0:00.14 httpd              
25551 nobody    16   0  6440 3496 2152 S  0.3  0.2   0:00.11 httpd              
25742 nobody    15   0  6440 3504 2152 S  0.3  0.2   0:00.13 httpd              
25909 nobody    15   0  6440 3488 2148 S  0.3  0.2   0:00.05 httpd              
26094 nobody    16   0  6440 3488 2148 S  0.3  0.2   0:00.07 httpd              
26635 nobody    15   0  6440 3500 2156 S  0.3  0.2   0:00.04 httpd              
26838 nobody    16   0  6440 3492 2152 S  0.3  0.2   0:00.02 httpd              
27035 nobody    15   0  6440 3444 2140 S  0.3  0.2   0:00.01 httpd              
27269 nobody    15   0  6440 3456 2140 S  0.3  0.2   0:00.04 httpd      

-----------------------------------------------------------------------


Linux 2.6.9-11.ELsmp (myweb)       2006年12月21日

avg-cpu:  %user   %nice    %sys %iowait   %idle
           9.84    0.00    7.44   13.55   69.17

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              36.60       922.55       461.79  474133627  237332752
sdb              11.51       413.93       120.84  212736228   62104080

avg-cpu:  %user   %nice    %sys %iowait   %idle
          57.00    0.00    9.00   20.50   13.50

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              32.00      1128.00         0.00       1128          0
sdb              27.00       920.00         0.00        920          0

avg-cpu:  %user   %nice    %sys %iowait   %idle
          54.73    0.00    6.97    8.96   29.35

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda              10.00       216.00         0.00        216          0
sdb              17.00      1104.00         0.00       1104          0

avg-cpu:  %user   %nice    %sys %iowait   %idle
          57.79    0.00   12.06   15.58   14.57
-------------------------------------------------------------------------------

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
1  0  30088  17520  46996 818676    5    5    42    20   14    24 10  7 69 14
5  0  30088  17328  47016 818916    0    0   392     0 3202  2091 56  8 30  7
1  0  30088  16720  47048 819664    0    0   704     0 3566  2343 57 11 27  5
2  0  30088  16360  47080 820152    0    0   284   960 3470  2221 56  9 31  4
2  0  30088  15944  47116 820636    0    0   548     0 3842  2456 57  8 25 10
1  0  30088  15752  47128 820884    0    0   396   100 3424  2092 59  9 27  5
3  0  30088  16968  47000 819972    0    0   580    96 3484  2352 54  6 32  7
6  1  30088  17064  47028 820724    0    0   800   884 3488  2262 58 10 27  4
1  1  30088  15936  47128 821144    0    0   408    80 3499  1975 57  7 25 12
1  7  30088  16864  47188 820564    0    0  1088     0 3828  2537 57 13  2 28
1  0  30088  16480  47220 821052    0    0   536   220 3563  2425 56  8 24 13
1  0  30088  16352  47224 821308    0    0   240     0 3478  2188 56  7 35  3