请教CPU占用率高的调优

山村刘德华

服务器采用负载均衡，差不多的业务量，一台机器CPU占用率要高于其他机器。求高手指点如何分析、定位、调优CPU占用率高的问题。
CPU信息：
$ machinfo
CPU info:
   Number of CPUs = 4
   Clock speed = 1595 MHz
   Bus speed   = 532 MT/s

TOP情况：
Load averages: 3.63, 3.60, 3.63
262 processes: 231 sleeping, 30 running, 1 zombie
Cpu states:
CPU   LOAD   USER   NICE    SYS   IDLE  BLOCK  SWAIT   INTR   SSYS
0    3.50  82.5%   0.0%   6.5%  10.9%   0.0%   0.0%   0.0%   0.0%
1    3.87  81.9%   0.0%   9.9%   8.2%   0.0%   0.0%   0.0%   0.0%
2    3.77  78.7%   0.0%  11.3%   9.9%   0.0%   0.0%   0.0%   0.0%
3    3.39  79.1%   0.0%  10.1%  10.7%   0.0%   0.0%   0.0%   0.0%
---   ----  -----  -----  -----  -----  -----  -----  -----  -----
avg   3.63  80.7%   0.0%   9.5%   9.7%   0.0%   0.0%   0.0%   0.0%

Memory: 3065748K (2732392K) real, 3764184K (3316096K) virtual, 10120336K free  Page# 1/10

CPU TTY     PID USERNAME PRI NI   SIZE    RES STATE    TIME %WCPU  %CPU COMMAND
2   ?     8766 ums8081  152 20  1483M  1292M run   70670:09 290.13 289.62 java
3   ?     8750 ums      152 20  1534M  1206M run   8502:42 29.18 29.13 java
1   ?     1628 root     -16 20 41264K 16868K run   4310:49  2.43  2.43 midaemon  
1   ?       54 root     152 20  5112K  4544K run   1601:29  1.47  1.46 vxfsd
2   ?     1432 root     152 20 38492K  2848K run   4005:09  1.07  1.07 cimprovagt
0   ?       10 root     152 20  1224K  1088K run      0:02  0.25  0.25 ObjectThreadPool
3 pts/ta 18072 hwwh     178 20 11028K  1284K run      0:00  0.28  0.22 top
1   ?     1427 root     152 20   206M 93524K run     60:09  0.22  0.21 cimprovagt
0   ?       39 root     152 20   432K   384K run    167:40  0.18  0.18 schedcpu
3   ?     1687 root     152 20 43308K  7000K run      0:08  0.16  0.16 ovbbccb
1   ?     1659 root     152 20 49516K  7128K run     46:48  0.14  0.14 ovcd   
2   ?     1836 root     152 20   111M 16876K run     12:02  0.14  0.14 vxsvc
3   ?       40 root     191 20   288K   256K run     50:00  0.12  0.12 pagezerod
0   ?     1417 root     152 20 25516K  5536K run      1:35  0.12  0.12 rpcd
2   ?     1688 root     152 20   122M 16380K run      8:33  0.12  0.12 coda
1   ?       20 root     191 20   360K   320K run     93:27  0.10  0.10 ksyncer_daemon
3   ?     1000 root     152 20 11228K  1616K run     10:52  0.09  0.09 automountd
2   ?     1424 root     152 20 52428K 12060K run      0:22  0.08  0.08 cimserver
1   ?     1658 root     152 20 22488K  3868K run      2:26  0.08  0.08 swagentd   
1   ?     1986 root     154 10  7248K  1284K sleep   95:52  0.06  0.06 psmctd
0   ?      485 root     152 20  8820K  2840K run      4:29  0.06  0.06 utmpd
0   ?     1431 root     152 20 47568K  3876K run      1:25  0.06  0.06 cimprovagt
0   ?     1433 root     152 20 38708K  2984K run      5:33  0.06  0.06 cimprovagt
3   ?       84 root     153 20    72K    64K sleep   33:42  0.05  0.05 rng
3   ?     1354 root     154 20  6236K   656K sleep   48:51  0.05  0.05 ipv6agt
1   ?     1610 root     127 20 44180K  5380K sleep   66:12  0.05  0.05 scopeux
1   ?     2566 root     154 20  7220K  1216K sleep   64:41  0.04  0.04 ia64_corehw

这台机器的评价占用率为百分之七八十，而另外和它部署一模一样的同型号机器CPU平均占用率仅为百分之三四十。
vmstat结果如下：
$ vmstat 2 10
         procs           memory                   page                              faults       cpu
    r     b     w      avm    free   re   at    pi   po    fr   de    sr     in     sy    cs  us sy id
   12     0     0   830173  2540230    6    1     0    0     0    0     0   5322  81732 13476  31  7 62
   12     0     0   830173  2542595   41   10     0    0     0    0     0  14296 173876 12480  80  8 12
   12     0     0   830173  2543911   21    4     0    0     0    0     0  13344 184723 12619  79  9 12
   12     0     0   830173  2542176   68    6     0    0     0    0     0  13108 189577 12742  82  8 10
    9     1     0   873414  2541390   89    7     0    0     0    0     0  12654 191666 11846  82  7 11
    9     1     0   873414  2541390   56    4     0    0     0    0     0  11587 169224 13991  66 10 25
    9     1     0   873414  2543373   36    2     0    0     0    0     0  11751 182368 19338  77 10 12
    9     1     0   873414  2542811   24    0     0    0     0    0     0  11850 188507 18254  79  8 14
    9     1     0   873414  2542908   15    0     0    0     0    0     0  10067 159938 21078  41  9 50
   25     0     0   869352  2543840    9    0     0    0     0    0     0  10497 164217 19723  76  8 16

lbseraph

两边java进程使用的资源也一样？这台占用CPU挺多呢~

山村刘德华

另外一台要少一些。
Load averages: 0.70, 0.72, 0.73
266 processes: 232 sleeping, 33 running, 1 zombie
Cpu states:
CPU   LOAD   USER   NICE    SYS   IDLE  BLOCK  SWAIT   INTR   SSYS
0    0.74  11.2%   0.0%   2.2%  86.7%   0.0%   0.0%   0.0%   0.0%
1    0.72   9.5%   0.0%   2.2%  88.3%   0.0%   0.0%   0.0%   0.0%
2    0.68   8.3%   0.0%   2.8%  88.9%   0.0%   0.0%   0.0%   0.0%
3    0.67  10.9%   0.0%   2.6%  86.5%   0.0%   0.0%   0.0%   0.0%
---   ----  -----  -----  -----  -----  -----  -----  -----  -----
avg   0.70  10.0%   0.0%   2.4%  87.6%   0.0%   0.0%   0.0%   0.0%

Memory: 3230152K (2498956K) real, 4290172K (3369208K) virtual, 9403188K free  Page# 1/10

CPU TTY     PID USERNAME PRI NI   SIZE    RES STATE    TIME %WCPU  %CPU COMMAND
3   ?    13390 ums      152 20  1533M  1097M run   10243:21 32.28 32.23 java
2   ?    13387 ums8081  152 20  1522M  1155M run   10218:00 28.57 28.52 java
3   ?       54 root     152 20 28800K 25600K run   15552:01  1.08  1.08 vxfsd
1   ?     1439 root     152 20 38492K  2848K run   34458:36  0.88  0.88 cimprovagt
2   ?     1634 root     -16 20 41264K 16868K run   19624:20  0.84  0.84 midaemon
2   ?    28701 hpsmh    152 20 71120K 22796K run      0:09  0.51  0.51 httpd
2   ?     1424 root     152 20 37872K  7948K run     19:28  0.35  0.35 rpcd
0   ?       10 root     152 20  1224K  1088K run      0:51  0.25  0.25 ObjectThreadPool
2   ?     1434 root     152 20   520M   406M run    505:17  0.22  0.21 cimprovagt
3 pts/ta 17622 hwwh     178 20 11028K  1348K run      0:01  0.21  0.21 top
1   ?     1840 root     152 20   114M 18116K run     92:42  0.20  0.20 vxsvc     
2   ?     1693 root     152 20 44032K  7420K run      2:17  0.16  0.16 ovbbccb
1   ?       40 root     191 20   288K   256K run    608:02  0.14  0.14 pagezerod
3   ?     1431 root     152 20 52168K 11928K run      0:19  0.14  0.14 cimserver
2   ?     1664 root     152 20 27560K  4920K run     17:12  0.14  0.14 swagentd      
1   ?       39 root     152 20   432K   384K run   1235:54  0.12  0.12 schedcpu
1   ?     1695 root     152 20   117M 11276K run   1129:24  0.12  0.12 coda
0   ?       20 root     191 20   360K   320K run    711:49  0.11  0.11 ksyncer_daemon
2   ?     1672 root     152 20 49652K  7160K run    325:07  0.10  0.10 ovcd
2   ?     1616 root     127 20 55508K 16588K sleep  382:11  0.06  0.06 scopeux
2   ?      481 root     152 20 10940K  3952K run     50:03  0.06  0.06 utmpd
1   ?      990 root     152 20 11228K  1616K run     89:09  0.06  0.06 automountd
3   ?     1438 root     152 20 48948K  3964K run      9:18  0.06  0.06 cimprovagt
2   ?     1440 root     152 20 38708K  2984K run      3:35  0.06  0.06 cimprovagt
1   ?     1989 root     154 10  8700K  1428K sleep  776:24  0.05  0.05 psmctd
0   ?    14733 root     154 10  7316K  1356K sleep  384:18  0.05  0.05 psmctd

山村刘德华

但是程序是一样的，怎么占用CPU资源不一样？

haizdl

下面这个进程有问题，重启应用可能会解决。

2   ?     8766 ums8081  152 20  1483M  1292M run   70670:09 290.13 289.62 java

chinadns

sar -u 5 20
sar -q 5 20

山村刘德华

$ sar -u 5 20;sar -q 5 20

HP-UX IMP3-UAP B.11.23 U ia64    05/27/13

17:03:19    %usr    %sys    %wio   %idle
17:03:24      55      12       0      34
17:03:29      70      11       0      20
17:03:34      71      10       0      18
17:03:39      76       8       0      16
17:03:44      45       9       0      46
17:03:49      31      12       0      58
17:03:54      69      11       0      20
17:03:59      69      10       0      21
17:04:04      72       9       0      19
17:04:09      56       7       0      37
17:04:14      67       9       0      24
17:04:19      72       9       0      19
17:04:24      28       7       0      65
17:04:29      63       8       0      29
17:04:34      78       9       0      12
17:04:39      67       9       0      24
17:04:44      71       8       0      21
17:04:49      42      13       0      45
17:04:54      71      10       0      19
17:04:59      72       9       0      19

Average       62       9       0      28

HP-UX IMP3-UAP B.11.23 U ia64    05/27/13

17:04:59 runq-sz %runocc swpq-sz %swpocc
17:05:04     6.6      35     0.0       0
17:05:09     8.4      50     0.0       0
17:05:14     6.3      50     0.0       0
17:05:19     1.9      70     0.0       0
17:05:24     6.9      70     0.0       0
17:05:29     9.2      60     0.0       0
17:05:34     6.5      55     0.0       0
17:05:39     8.0      65     0.0       0
17:05:44     8.4      70     0.0       0
17:05:49     5.2      55     0.0       0
17:05:54     3.2      66     0.0       0
17:05:59     1.8      75     0.0       0
17:06:04     4.8      40     0.0       0
17:06:09     1.7      35     0.0       0
17:06:14     1.4      40     0.0       0
17:06:19     5.8      80     0.0       0
17:06:24     1.9      80     0.0       0
17:06:29     9.3      75     0.0       0
17:06:34     4.9      85     0.0       0
17:06:39     2.6      75     0.0       0

Average      5.3      61     0.0       0