系统负载太高！求各位大牛帮忙看一下！

yangzhengbo2002

系统为linux AS 5.1 上面只跑了一个apache服务,模式为prefork,允许最大客户数3000， 服务器提供视频下载。经常出现系统负载很高，各位帮忙看一下，是哪方面的瓶颈造成的。
sa@Down ~]$ w
21:24:01 up 346 days,  9:33,  1 user,  load average: 122.06, 120.68, 94.14
USER     TTY      FROM              LOGIN@   IDLE   JCPU   PCPU WHAT
sa  pts/0    11.0.10.5          21:20    0.00s  0.04s  0.03s w

sa@Down~]$ ps -ef |grep httpd|wc -l
1194


sa@Down ~]$ top

top - 21:28:45 up 346 days,  9:38,  1 user,  load average: 125.81, 122.83, 101.82
Tasks: 1277 total,   1 running, 1275 sleeping,   0 stopped,   1 zombie
Cpu0  :  1.6%us,  2.3%sy,  0.0%ni,  0.0%id, 93.1%wa,  0.3%hi,  2.6%si,  0.0%st
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,  0.0%id,100.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.3%us,  0.3%sy,  0.0%ni,  0.0%id, 99.3%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu3  :  0.3%us,  0.7%sy,  0.0%ni,  0.0%id, 99.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu4  :  0.0%us,  0.3%sy,  0.0%ni,  0.0%id, 99.3%wa,  0.0%hi,  0.3%si,  0.0%st
Cpu5  :  0.0%us,  0.3%sy,  0.0%ni,  0.0%id, 99.7%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu6  :  0.0%us,  0.0%sy,  0.0%ni,  0.0%id,100.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu7  :  0.0%us,  0.3%sy,  0.0%ni,  0.0%id, 99.7%wa,  0.0%hi,  0.0%si,  0.0%st
Mem:   3365096k total,  3239160k used,   125936k free,     7436k buffers
Swap:  4096532k total,     1624k used,  4094908k free,  2781592k cached


sa@Down ~]$ free -m
             total       used       free     shared    buffers     cached
Mem:          3286       3164        121          0          7       2721
-/+ buffers/cache:        436       2849
Swap:         4000          1       3998



[jeboosa@DownLoad ~]$ iostat
2009年05月04日  _i686_

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.09    0.00    0.38    7.91    0.00   91.61

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.09        12.41        44.26  371440583 1324617176
sdb              52.81        36.23        31.05 1084269329  929330976


sa@Down~]$ netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
LAST_ACK 261
SYN_RECV 89
CLOSE_WAIT 185
ESTABLISHED 898
FIN_WAIT1 295
FIN_WAIT2 37
CLOSING 137
TIME_WAIT 2666

求各位大侠指点一下。。

nsfghost

我个人感觉是apache本身的问题，不管你怎么优化，都达不到特别好的效果
根据你的业务来看，视频下载，一个请求会占用很长的时间，这样容易形成并发，导致apache不堪负重
我不知道apache能不能承受3000的连接数，但我公司的服务器，4G内存，承受1000多的连接数就已经不行了，也许是我这边业务过于复杂的原因
对于视频下载这种纯静态服务，业务并不复杂，不一定要用apache，建议换成lighttpd或nginx，效果绝对比apache要好很多

以上是个人的浅见，如有不适，请各位高手指出


还有就是TIME_WAIT 2666，个人感觉这个值有点高，不知道你keepalive有没有开，设置多大

yangzhengbo2002

KeepAlive Off
MaxKeepAliveRequests 100
KeepAliveTimeout 15

ws00377531

我也经常遇到apache的问题 但是找不到原因

ws00377531

我也经常遇到apache的问题 但是找不到原因

clyet

瓶颈在磁盘IO上，应该和apache关系不大

yangzhengbo2002

请教一下，楼上的兄弟，是怎样看出是磁盘IO的的瓶颈。。

cnleon

vmstat 5 5   后的内容发上来

yangzhengbo2002

sa@Down~]# vmstat 5 5
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
1  0   1624 124568   6864 2974296    0    0     6     5    0    0  0  0 92  8  0
0  1   1624 125448   6816 2973336    0    0  8676    51 6834  973  0  1 86 13  0
0  1   1624 124644   6836 2973196    0    0  7909    46 6649  888  0  1 88 11  0
0  5   1624 124112   6784 2972360    0    0  7675    45 6395  882  0  1 87 12  0
0  4   1624 127000   6788 2971644    0    0  7930    42 6726  936  0  1 88 12  0
sa@Down ~]# iostat
     2009年05月06日  _i686_

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           0.09    0.00    0.38    7.93    0.00   91.60

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               2.09        12.48        44.34  375162679 1332883016
sdb              52.94        87.59        31.36 2633304833  942639152

lidan

apache的问题，负载不够了。换轻量级的服务软件比较好，apache在高负载的时候本身占内存太多。