【高手进】性能调优问题！－－－已有结果，但不是解决方法

常笑

本机cpu资源利用率过高，超过了90％。感觉不正常。现将分析贴上来，请各位高手帮忙分析下原因...

1,cpu 利用率
                                      
        GlancePlus C.03.58.00    15:45:42          9000/800                 Current  Avg  High
------------------------------------------------------------------------------------------------------------------
CPU  Util   S                  SU     U                                                          | 32%   31%   33%
Disk Util   F                                                        FV                 V          | 91%   91%   96%Mem  Util   S              SU   UB  B                                                            | 30%   30%   30%
Swap Util   U      UR R                                                                          | 14%   14%   14%

2，利用sar看到的cpu利用情况。sys 占用资源较多。

15:47:41    %usr    %sys    %wio   %idle
15:48:11       6      23      16      55
15:48:41       7      24      13      56
15:49:11       6      21      15      58
15:49:41       6      26      15      53
15:50:11       7      22      16      55

Average        7      23      15      55

3,glance看到的也是sys占用cpu资源较多

State           Current    Average        High         Time     Cum Time
--------------------------------------------------------------------------------
User               7.4        8.0          9.1         0.39         1.01
Nice               0.0        0.0          0.0         0.00         0.00
Negative Nice      0.2        0.2          0.2         0.01         0.02
RealTime           0.2        0.2          0.2         0.01         0.02
System            16.7       17.0         19.6         0.88         2.15
Interrupt          0.8        0.9          1.0         0.04         0.12
ContextSwitch      0.6        0.6          0.7         0.03         0.07
Traps              0.0        0.0          0.0         0.00         0.00
Vfaults            7.4        7.6          8.4         0.39         0.96
Idle              66.3       65.3         66.3         3.49         8.28

4,top看到的也是sys占用cpu资源较多

CPU   LOAD   USER   NICE    SYS   IDLE  BLOCK  SWAIT   INTR   SSYS
0    0.35   5.9%   0.0%  18.8%  75.2%   0.0%   0.0%   0.0%   0.0%
1    0.38   6.5%   0.0%  25.3%  68.2%   0.0%   0.0%   0.0%   0.0%
2    0.27   4.7%   0.0%  25.9%  69.4%   0.0%   0.0%   0.0%   0.0%
3    0.51  10.7%   0.0%  21.9%  67.4%   0.0%   0.0%   0.0%   0.0%
4    0.50   6.7%   0.0%  20.6%  72.7%   0.0%   0.0%   0.0%   0.0%
5    0.50  11.9%   0.0%  20.4%  67.8%   0.0%   0.0%   0.0%   0.0%
6    0.31   5.9%   0.0%  20.8%  73.3%   0.0%   0.0%   0.0%   0.0%
7    0.35   7.5%   0.0%  20.6%  71.9%   0.0%   0.0%   0.0%   0.0%

5，top看到的系统进程情况：

5   ?       40 root     152 20     0K 12864K run   3862:31  3.02  3.01 vxfsd
5   ?    24021 root     -16 10 19308K 18804K run      0:18  2.45  2.44 midaemon

6，vxfsd是跟文件系统相关的内核守护进程。跟踪磁盘情况

15:58:48   device   %busy   avque   r+w/s  blks/s  avwait  avserv
15:59:18   c0t0d0   92.77    0.56      53     511    6.37   43.58           
           c4t8d0   21.36    0.52      51     504    5.16    5.96
           c2t0d6    0.63    0.50       4      30    6.84    0.89
           c5t0d6    0.80    0.50       4      37    6.79    0.99
           c5t0d7    0.03    0.50       0       0    9.51    0.58
           c5t5d7    0.03    0.50       0       1    8.78    1.76
15:59:48   c0t0d0   91.83    0.55      55     562    5.56   41.21           
           c4t8d0   23.24    0.53      53     554    5.20    6.09
           c2t0d6    0.17    0.50       3      54    5.79    0.68
           c5t0d6    0.23    0.50       3      54    5.88    0.87
16:00:18   c0t0d0   92.93    0.61      70     868    5.45   32.80           
          c4t8d0   28.57    0.55      67     863    5.04    6.34
          c10t2d2    0.03    0.50       0       0    9.49    1.77
           c2t0d6    0.50    0.50       4      36    6.71    1.00
           c2t5d7    0.20    0.52       2       7    6.36    1.69
Average    c0t0d0   92.51    0.58      59     647    5.76   38.59
Average     c4t8d0   24.39    0.54      57     640    5.13    6.15
Average    c2t0d6    0.43    0.50       3      40    6.49    0.87
Average    c5t0d6    0.62    0.50       3      44    6.39    1.04
Average    c5t0d7    0.01    0.50       0       0    9.51    0.58

得出，c0t0d0使用率较高。而，c0t0d0和c4t0d0是系统盘，构成vg00。

7，文件系统I/O跟踪。
Idx   File System            Device               Type     Logl IO     Phys IO
--------------------------------------------------------------------------------
   1 /                       /dev/vg00/lvol3      vxfs     0.1/ 10.9   0.0/  3.5
   2 /stand                  /dev/vg00/lvol1      hfs      0.0/  0.0   0.0/  0.0
   3 /var                    /dev/vg00/lvol7      vxfs     0.0/  1.0  92.5/ 83.1
   4 /usr                    /dev/vg00/lvol6      vxfs    3713/ 3694   0.3/  3.2
   5 /tmp                    /dev/vg00/lvol5      vxfs   282.6/274.8  43.6/ 56.7
   6 /sybase                 /dev/vg00/sybase     vxfs     0.0/  0.0   0.0/  0.0
   7 /opt                    /dev/vg00/lvol4      vxfs     6.9/  4.5   0.3/  0.9
   8 /home                   /dev/vg00/lvol8      vxfs     0.0/  0.0   0.0/  0.0
   9 /cdms                   /dev/vg03/lvdaxt     vxfs     0.5/ 12.2   0.0/  1.3
  10 /sybcl                  /dev/vg02/sybcl      vxfs   130.7/169.4   0.3/  0.6
  11 /var/cics_servers       */vg02/cics_servers  vxfs     0.0/  0.0   0.0/  0.0
  12 /var/cics_regions       */vg02/cics_regions  vxfs    64.2/101.3   4.4/  3.7
  13 /webroot                /dev/vg02/webroot    vxfs     1.5/ 13.1   1.9/  2.1

8，磁盘跟踪
Idx  Vol Group/Log Volume                 Open LVs     LV Reads     LV Writes
--------------------------------------------------------------------------------
   1 /dev/vg00                                10
   2 /dev/vg00/group                                0.0/    0.0    0.0/    0.0
   3 /dev/vg00/lvol1                                0.0/    0.0    0.0/    0.0
   4 /dev/vg00/lvol2                                0.0/    0.0    0.0/    0.0
   5 /dev/vg00/lvol3                                0.0/    0.0    0.3/    1.6
   6 /dev/vg00/lvol4                                0.0/    0.0    0.7/    0.6
   7 /dev/vg00/lvol5                                0.0/    0.0   31.9/   47.6
   8 /dev/vg00/lvol6                                0.0/    0.0    0.7/    1.6
   9 /dev/vg00/lvol7                                0.0/    0.0   75.7/   76.4
  10 /dev/vg00/lvol8                                0.0/    0.0    0.0/    0.0
  11 /dev/vg00/sybase                               0.0/    0.0    0.0/    0.0


综上：

1，磁盘，尤其是vg00根盘的利用率过高。

2,而vg00中，尤其以 /tmp,/var目录的利用率过高。

3，应该是磁盘的瓶颈导致了，cpu的使用率过高


问题：

大方向：解决磁盘的瓶颈

1，vg00，由c0t0d0,c4t8d0镜像而成。虽然c0t0d0是主盘，为什么两块盘的读写busy差别那么大？

2，vxfsd，midaemon进程是什么具体进程？其它机器，这两个进程占用cpu资源不多，为什么本机会多？

3，有应用倒是会写/tmp；/var 目录的读写为什么也那么多呢？

4，怀疑c0t0d0没坏，可是不正常；所以，如果实在不行，就只有更换c0t0d0看看了...

[ 本帖最后由 常笑 于 2008-9-10 17:39 编辑 ]

iops

1. 你的服务器和存储配置是什么？
2. 这个现象是突然产生的，还是已经持续一段时间？
3. 把vmstat -S 10 10 的值贴出来看看！

常笑

服务器是HP superdon，存储是EMC。不过，c0t0d0是本地盘，HP 36.4GST336752LC。


这个现象是出现了一段时间了。

vmstat -S 10 10
       procs           memory                   page                              faults       cpu
    r     b     w      avm    free   si   so    pi   po    fr   de    sr     in     sy    cs  us sy id
    4    14     0   697817  2949684    0    0     2    0     0    0     0   2923  29072  1963  10 36 54
    1    17     0   658356  2949634    0    0     0    0     0    0     0   2566  51984  5196   0  0 100
    1    17     0   660002  2949662    0    0     0    0     0    0     0   2580  45154  4512   0  0 100
    5    13     0   658118  2949583    0    0     0    0     0    0     0   3051  52392  5937   0  0 100
    1    17     0   718626  2949552    0    0     0    0     0    0     0   2608  48746  5053   0  0 100
    6    12     0   716007  2949963    0    0     0    0     0    0     0   2512  46658  4881   0  0 100
    8    10     0   644484  2949489    0    0     0    0     0    0     0   2451  35676  3657   0  0 100
    1    17     0   647978  2949521    0    0     0    0     0    0     0   2563  47837  4885   0  0 100
    4    14     0   655478  2949532    0    0     0    0     0    0     0   2509  53546  5478   0  0 100
    1    17     0   719359  2949615    0    0     0    0     0    0     0   2609  54592  5611   0  0 100

sonsunny

通过vmstat 信息看，你有PO出现，同时你的磁盘是本地硬盘，swap space 应该是分布在本地硬盘，导致硬盘bz，很有可能是内存不足 paging导致。能否再看看vhand所占资源情况。初步看，觉得内存不足的可能性更大。

sonsunny

你发的vmstat 信息错位了呢，从glance看cpu利用率不高啊，只是disk 利用率高了。应该是磁盘IO影响CPU sys 利用率高，从sar -d 现在读写才500k+,应该是不会导致利用率如此高的。把bdf内容贴出来看看。

sonsunny

同时再把sar -b 2 10给贴出来看看。

ksa13

superdome的跟盘是ds2300的盘柜，恩，剩下的你该知道了吧。

czyf2001

7，文件系统I/O跟踪。
Idx   File System            Device               Type     Logl IO     Phys IO
--------------------------------------------------------------------------------
   1 /                       /dev/vg00/lvol3      vxfs     0.1/ 10.9   0.0/  3.5
   2 /stand                  /dev/vg00/lvol1      hfs      0.0/  0.0   0.0/  0.0
  3 /var                    /dev/vg00/lvol7      vxfs     0.0/  1.0  92.5/ 83.1
   4 /usr                    /dev/vg00/lvol6      vxfs    3713/ 3694   0.3/  3.2
   5 /tmp                    /dev/vg00/lvol5      vxfs   282.6/274.8  43.6/ 56.7
   6 /sybase                 /dev/vg00/sybase     vxfs     0.0/  0.0   0.0/  0.0
   7 /opt                    /dev/vg00/lvol4      vxfs     6.9/  4.5   0.3/  0.9
   8 /home                   /dev/vg00/lvol8      vxfs     0.0/  0.0   0.0/  0.0
   9 /cdms                   /dev/vg03/lvdaxt     vxfs     0.5/ 12.2   0.0/  1.3
10 /sybcl                  /dev/vg02/sybcl      vxfs   130.7/169.4   0.3/  0.6
  11 /var/cics_servers       */vg02/cics_servers  vxfs     0.0/  0.0   0.0/  0.0
  12 /var/cics_regions       */vg02/cics_regions  vxfs    64.2/101.3   4.4/  3.7
  13 /webroot                /dev/vg02/webroot    vxfs     1.5/ 13.1   1.9/  2.1

8，磁盘跟踪
Idx  Vol Group/Log Volume                 Open LVs     LV Reads     LV Writes
--------------------------------------------------------------------------------
   1 /dev/vg00                                10
   2 /dev/vg00/group                                0.0/    0.0    0.0/    0.0
   3 /dev/vg00/lvol1                                0.0/    0.0    0.0/    0.0
   4 /dev/vg00/lvol2                                0.0/    0.0    0.0/    0.0
   5 /dev/vg00/lvol3                                0.0/    0.0    0.3/    1.6
   6 /dev/vg00/lvol4                                0.0/    0.0    0.7/    0.6
   7 /dev/vg00/lvol5                                0.0/    0.0   31.9/   47.6
   8 /dev/vg00/lvol6                                0.0/    0.0    0.7/    1.6
   9 /dev/vg00/lvol7                                0.0/    0.0   75.7/   76.4
  10 /dev/vg00/lvol8                                0.0/    0.0    0.0/    0.0
  11 /dev/vg00/sybase                               0.0/    0.0    0.0/    0.0


＝＝＝＝
1， 最近基于中间件cics是不是做了应用调整，还是应用上线后一直这样？
2，lsof对 /sybcl ， /tmp ，/var ，/var/cics_regions几个目录进行检查，看看那个文件在读写？
3，即使是外挂笼子也不用怀疑的，链路应该没有问题。因为你是根盘忙。

ps:最大的可能是应用引起的。

[ 本帖最后由 czyf2001 于 2008-9-7 22:26 编辑 ]

常笑

swapinfo
             Kb      Kb      Kb   PCT  START/      Kb
TYPE      AVAIL    USED    FREE  USED   LIMIT RESERVE  PRI  NAME
dev     17408000       0 17408000    0%       0       -    1  /dev/vg00/lvol2
reserve       - 1373088 -1373088
memory  13481756 2995168 10486588   22%

我也怀疑过，交换区的问题，可是很遗憾，看交换区的信息，好像交换区根本就不忙...

sar -b 2 10

HP-UX yncms2 B.11.11 U 9000/800    09/08/08

09:32:36 bread/s lread/s %rcache bwrit/s lwrit/s %wcache pread/s pwrit/s
09:32:38       0   31990     100       7     973      99       0       0
09:32:40       0   38045     100       1    1153     100       0       0
09:32:42       2   24457     100      13     795      98       0       0
09:32:44       0   28744     100       6     885      99       0       0
09:32:46       0   35722     100      10     883      99       0       0
09:32:48       0   30641     100       1     952     100       0       0
09:32:50       8   35373     100       3    1107     100       0       0
09:32:52       0   37313     100      14     955      99       0       0
09:32:54       0   24382     100       8     760      99       1       0
09:32:56       0   31814     100      10     960      99       0       0

Average        1   31860     100       7     942      99       0       0

我的cache的命中率也是100％，内存，虚存的使用，应该没问题...


bdf

Filesystem          kbytes    used   avail %used Mounted on
/dev/vg00/lvol3     409600  157464  250232   39% /
/dev/vg00/lvol1     497584   38984  408840    9% /stand
/dev/vg00/lvol7    2097152  502984 1594168   24% /var
/dev/vg00/lvol6    3072000 2095192  969336   68% /usr
/dev/vg00/lvol5     204800  137536   66840   67% /tmp
/dev/vg00/sybase   3072000 2396395  633709   79% /sybase
/dev/vg00/lvol4    3145728 1663408 1470792   53% /opt
/dev/vg00/lvol8      24576    2584   21888   11% /home

/dev/vg02/sybcl    1048576  243233  755065   24% /sybcl
/dev/vg02/cics_servers
                    131072    1162  121791    1% /var/cics_servers
/dev/vg02/cics_regions
                   1048576  616025  405521   60% /var/cics_regions

bdf的情况，虽然我不知道输出bdf对分析有什么用.....:wink: :wink



另：回复 czyf2001

1,上线的时候没这么忙，随着数据的增加和业务的发展才这样的。最近没有对cics做过调整。

2，其实我也觉得慢应该是由应用引起的，无可奈何呀！

skilljiang

根盘上安装了什么应用么?