500并发压力下apache异常 - -

Celinde

apache+weblogic。
目前有4台weblogic接在F5后面，apache通过F5调用动态页面

500并发压力下web服务器cpu使用异常。但是页面响应速度仍然很快，在2秒左右。

太恐怖了，不知是否与F5的会话保持策略有关，
先前apache和weblogic 1对1的时候压力测试是没问题的。

apache那边都没放什么东西，现在整站几乎全是动态的，apache下只有些css，js，图片什么的。

1. 
   
2. # vmstat 1
   
3. procs -----------memory---------- ---swap-- -----io---- -system-- -----cpu------
   
4. r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
   
5. 14  0      0 1255124 202388 5935800    0    0     0    92 10705 198596  7 20 72  0  0
   
6. 1  0      0 1253512 202388 5937856    0    0     0     0 10400 199965  6 20 74  0  0
   
7. 8  0      0 1252024 202392 5938880    0    0     0     0 10394 205540  6 21 73  0  0
   
8. 20  1      0 1249668 202392 5939908    0    0     0     0 10397 204916  7 19 74  1  0
   
9. 22  1      0 1248056 202396 5941960    0    0     0  8644 10916 199112  7 19 73  1  0
   
10. 16  0      0 1246188 202396 5944016    0    0     0   108 10315 210193  6 20 73  1  0
    
11. 102  0      0 1244576 202396 5947100    0    0     0     0 10456 206175  6 19 74  0  0
    
12. 27  0      0 1243212 202400 5948124    0    0     0     0 10462 203122  7 19 75  0  0
    
13. 9  0      0 1240980 202400 5950180    0    0     0     0 10157 207020  6 19 75  0  0
    
14. 0  2      0 1239492 202404 5951204    0    0     0  8324 10180 187539  7 20 73  1  0
    
15. 4  0      0 1237880 202404 5952232    0    0     0    92 10350 189573  6 18 75  1  0
    
16. 28  0      0 1236144 202404 5952232    0    0     0     0 10671 199153  6 19 75  0  0
    
17. 14  0      0 1234664 202408 5956340    0    0     0     0 10642 210598  6 18 76  1  0
    
18. 40  0      0 1232556 202408 5958396    0    0     0     0 10114 217667  6 18 77  0  0
    
19. 0  2      0 1231688 202412 5960448    0    0     0  8196 9814 191464  6 17 76  1  0
    
20. 101  0      0 1229944 202412 5961476    0    0     0    92 9888 202916  6 19 75  1  0
    
21. 
    
22. # uptime
    
23.   5:05pm  up 30 days  7:03,  0 users,  load average: 744.63, 630.50, 396.47
    

复制代码

fsm11

服务器看起来还正常啊，再说500并发能吧apache压死吗，不可能的事情。

werll

原帖由 Celinde 于 2009-6-5 18:16 发表
uptime
  5:05pm  up 30 days  7:03,  0 users,  load average: 744.63, 630.50, 396.47
...

后面的平均负载是高的恐怖，几核的CPU？
检查下进程！

chenyx

是啊,CPU负载很高啊

Celinde

是啊，晕死了
4块4核志强，记得是3G主频的，8G内存。
apache没问题，页面打开速度还很快，但是负载怎么这么高啊..

粗略看了下进程，没发现异常情况..

感觉是进程调度有问题,大量CPU时间都消耗在进程调度上。

这套系统月底就要上线的.. 是在做压力测试的时候发现的问题

werll

不排除你说的可能
vmstat 1查看资源瓶颈
iostat 1 查看IO的情况
tcpdump查看网连情况
sar -n DEV 看网络负载状况
结合一下看看

gilet

楼主解决了吗

Celinde

没

发这帖子之后一个月就被从那个项目掉走了,再也没重现那个异常..


现在想想,也有可能是网络满载了,但是已经无法证实了..

500个持续并发链接*每个页面大小约500K/2秒响应时间, 差不多刚好是千兆网卡满载的带宽