请高手赶紧帮忙！！！！！！！！！iowait比较高

miaohuil

情况：EMC CX500盘柜，划了LUN0~4给一台主机，主机上面装了powerpath、VXVM、informix；最近出现iowait较高的情况,其中用sar输出的wio也很高，具体如下：（请高手赶紧帮忙分析一下原因吧！！！！！）
# top                       
top: /dev/ksyms is not a 32-bit kernel namelist
kvm_open: Error 0

load averages:  0.59,  0.49,  0.61                                                                                         13:34:26
153 processes: 152 sleeping, 1 on cpu
CPU states: 53.4% idle,  4.3% user,  7.2% kernel, 35.0% iowait,  0.0% swap
Memory: 16G real, 9410M free, 16M swap in use, 8177M swap free

  PID USERNAME THR PRI NICE  SIZE   RES STATE   TIME    CPU COMMAND
2641 npmuser    4   0    0   17M   15M sleep   0:07  2.66% perl5.8.0
1836 informix   2  58    0    0K    0K sleep  33.9H  0.66% oninit
1829 informix   2  58    0    0K    0K sleep  25.4H  0.53% oninit
1958 informix   1  58    0    0K    0K sleep 726:34  0.44% oninit
9942 nrmuser    5  58    0   11M   10M sleep   3:55  0.31% AlarmForward.pl
2646 npmuser    5  48    0   18M   17M sleep   0:01  0.29% perl5.8.0
1837 informix   2  58    0    0K    0K sleep  24.4H  0.28% oninit
3200 root       1  58    0 1608K 1376K cpu15   0:00  0.05% top
1838 informix   2  58    0    0K    0K sleep 921:42  0.05% oninit
  747 npmuser    5  33    0   18M   17M sleep   0:02  0.04% perl5.8.0
1976 npmuser    1  58    0 1608K 1376K sleep   0:00  0.04% top
9392 npmuser    1  58    0 1680K 1464K sleep   0:28  0.04% top
3302 npmuser    1   0    0 1672K 1304K sleep   0:00  0.03% csh
9961 nrmuser    5  58    0   15M   14M sleep   0:41  0.02% AlarmBackward.p
9998 npmuser    5  58    0   15M   14M sleep   0:16  0.02% perl5.8.0


# sar

SunOS sc3db1 5.8 Generic_108528-29 sun4u    05/11/06

00:00:00    %usr    %sys    %wio   %idle
01:00:00       7       3      35      56
02:00:00       8       3      34      56
03:00:00       7       3      34      56
04:00:00       7       3      34      55
05:00:00       8       4      34      55
06:00:00       7       3      34      56
07:00:00       7       3      34      56
08:00:00       6       3      35      57
08:20:00       6       3      35      57
08:40:00       4       3      35      58
09:00:00       4       3      35      57
09:20:01       9       4      33      54
09:40:00       6       3      34      56
10:00:00       7       3      34      55
10:20:00      10       4      33      53
10:40:00       8       4      33      55
11:00:00       7       4      33      55
11:20:00       7       4      34      55
11:40:00       5       3      35      58
12:00:01       5       4      34      56
12:20:00       8       5      33      54
12:40:00       6       5      34      55
13:00:00       5       4      34      56
13:20:00       7       4      34      55

Average        7       3      34      56


# iostat -xczn
     cpu
us sy wt id
25 14 11 50
                    extended device statistics              
    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device
   11.6   18.7  106.1  106.5  0.0  0.5    0.1   17.6   0  17 c0t0d0
    0.2    0.6   45.6    8.0  0.0  0.0    0.1    9.3   0   1 c0t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d0
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d0
   33.2   21.1  332.6   80.9  0.0  0.6    0.5   11.0   0  29 c2t0d1（这些值应该不算高，在同样机器上还更高，但IOWAIT都是正常的）

    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d2
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d3
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d4
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d1
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d2
    0.5    0.0   58.0    1.1  0.0  0.0    0.0    8.2   0   0 c2t1d3
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d4
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d1
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d2
    0.5    0.0   58.3    1.1  0.0  0.0    0.0    7.7   0   0 c3t0d3
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d4
   33.2   21.0  330.5   80.8  0.0  0.6    0.5   10.9   0  29 c3t1d1（这些值应该不算高，在同样机器上还更高，但IOWAIT都是正常的）
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d2
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d3
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d4
    0.0    0.4    0.3   22.7  0.0  0.0    0.0    0.9   0   0 rmt/1
    0.0    1.0    0.0   60.8  0.0  0.0    0.0    1.0   0   0 rmt/2
    0.0    0.7    0.1   44.7  0.0  0.0    0.0    0.9   0   0 rmt/3
    0.2    0.9   13.1   59.9  0.0  0.0    0.0    0.9   0   0 rmt/4
    0.0    0.9    0.2   56.7  0.0  0.0    0.0    1.0   0   0 rmt/5
    0.0    0.9    0.1   59.1  0.0  0.0    0.0    1.0   0   0 rmt/6
    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.2   0   0 sc3db1:vold(pid585)

东方蜘蛛

检查messages和卷的状态看是否有报错！

miaohuil

messages没有报错，informix用的是裸设备，用vxprint输出的状态来看，都是active的，而且在EMC CX500的盘柜上也没有报错。

ga0feng

建议不要孤立的看待IOW,最好同时检查一下Memory跟Process。
usr的百分比太小了，估计是某个用户进程出了问题，检查一下db的状态跟log比较好

[ 本帖最后由 ga0feng 于 2006-5-11 14:17 编辑 ]

东方蜘蛛

统一楼上的，建议检查后台进程！

nus

"Memory: 16G real, 9410M free, 16M swap in use, 8177M swap free
请贴如下输出：
#df -k /tmp
#swap -l
#swap -s
怀疑swap设置有低级错误。

miaohuil

原帖由 ga0feng 于 2006-5-11 14:13 发表
建议不要孤立的看待IOW,最好同时检查一下Memory跟Process。
usr的百分比太小了，估计是某个用户进程出了问题，检查一下db的状态跟log比较好

CPU minf mjf xcal  intr ithr  csw icsw migr smtx  srw syscl  usr sys  wt idl
12    0   0    4   249  147  450    0    4   16    0    14    0   1  99   0
13    0   0    0     7    2  309    1    5   12    0   629    9   1   0  90
14    0   0    0   177  174   83    0   13   14    0    96    0   0   0 100
15    0   0    0    25   23   65    0    7   21    0    33    0   0 100   0
20    0   0    0    53   49  136    1    1   10    0   233   11   1  88   0
21    0   0   29    49   47   55    0    4   17    0   497    3   0   0  97
22    0   0    0     2    0  425    0    2    1    0   810    0   4   0  96
23    0   0    1     5    2   92    0    0   21    0   487    0  11   0  89
您看正常吗？（我对比了一下另一台差不多业务的正常主机，比较相似，可能是正常的，不过那台机器还要多4个CPU）
# swap -l
swapfile             dev  swaplo blocks   free
/dev/dsk/c0t0d0s1   32,1      16 16779296 16747376
# vmstat 1
procs     memory            page            disk          faults      cpu
r b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id
0 0 0 14569024 8617176 0 0  0  0  0  0  0 30  1  0  0 4294967196 0 0 -105 -59 -260
0 4294967295 0 15840440 9594288 18 399 0 24 16 0 0 4 1 0 0 704 3161 1780 2 4 94
0 4294967295 0 15840376 9594288 5 131 0 8 8 0 0 1 0 0 0 745 3140 2107 3  2 94
0 4294967295 0 15840296 9594288 11 259 0 32 24 0 0 0 2 0 0 944 4574 3050 7 2 91
0 0 0 15840304 9594288 75 582 0 24 16 0 0 41  1  0  0 1080 8292 2931  7  2 91
0 4294967295 0 15838128 9592296 190 3533 0 48 40 0 0 9 0 0 0 889 12861 2758 16 6 77
# top
top: /dev/ksyms is not a 32-bit kernel namelist
kvm_open: Error 0

load averages:  0.99,  1.14,  1.00                                                                                         14:23:40
165 processes: 164 sleeping, 1 on cpu
CPU states: 55.8% idle,  5.5% user,  3.8% kernel, 34.9% iowait,  0.0% swap
Memory: 16G real, 9387M free, 16M swap in use, 8177M swap free
内存是否正常呢？？

miaohuil

% onstat   

IBM Informix Dynamic Server Version 9.40.FC7     -- On-Line -- Up 20 days 03:26:42 -- 4890624 Kbytes

Userthreads
address          flags   sessid   user     tty      wait             tout locks nreads   nwrites
1f66a0028        ---P--D 1        informix -        0                0    0     4553     70534
1f66a0850        ---P--F 0        informix -        0                0    0     0        6985455
1f66a1078        ---P--F 0        informix -        0                0    0     0        2324027
1f66a18a0        ---P--F 0        informix -        0                0    0     0        1149751
1f66a20c8        ---P--F 0        informix -        0                0    0     0        832944
1f66a28f0        ---P--F 0        informix -        0                0    0     0        1516645
1f66a3118        ---P--F 0        informix -        0                0    0     0        786742
1f66a3940        ---P--F 0        informix -        0                0    0     0        948019
1f66a4168        ---P--F 0        informix -        0                0    0     0        588896
1f66a4990        ---P--F 0        informix -        0                0    0     0        392641
1f66a51b8        ---P--F 0        informix -        0                0    0     0        373476
1f66a59e0        ---P--F 0        informix -        0                0    0     0        363906
1f66a6208        ---P--F 0        informix -        0                0    0     0        296277
1f66a6a30        ---P--F 0        informix -        0                0    0     0        269478
1f66a7258        ---P--F 0        informix -        0                0    0     0        231153
1f66a7a80        ---P--F 0        informix -        0                0    0     0        224635
1f66a82a8        ---P--F 0        informix -        0                0    0     0        221019
1f66a8ad0        ---P--F 0        informix -        0                0    0     0        214846
1f66a92f8        ---P--F 0        informix -        0                0    0     0        202146
1f66a9b20        ---P--F 0        informix -        0                0    0     0        397471
1f66aa348        ---P--F 0        informix -        0                0    0     0        184763
1f66aab70        ---P--F 0        informix -        0                0    0     0        432829
1f66ab398        ---P--F 0        informix -        0                0    0     0        1266746
1f66abbc0        ---P--F 0        informix -        0                0    0     0        980287
1f66ac3e8        ---P--F 0        informix -        0                0    0     0        575177
1f66acc10        ---P--F 0        informix -        0                0    0     0        5575196
1f66ad438        ---P--F 0        informix -        0                0    0     0        1926384
1f66adc60        ---P--F 0        informix -        0                0    0     0        504131
1f66ae488        ---P--F 0        informix -        0                0    0     0        1102458
1f66aecb0        ---P--F 0        informix -        0                0    0     0        1301358
1f66af4d8        ---P--F 0        informix -        0                0    0     0        4829705
1f66afd00        ---P--F 0        informix -        0                0    0     0        3133306
1f66b0528        ---P--F 0        informix -        0                0    0     0        2054473
1f66b0d50        ---P--F 0        informix -        0                0    0     0        4288174
1f66b1578        ---P--F 0        informix -        0                0    0     0        5578442
1f66b1da0        ---P--F 0        informix -        0                0    0     0        3149298
1f66b25c8        ---P--F 0        informix -        0                0    0     0        5256697
1f66b2df0        ---P--F 0        informix -        0                0    0     0        2339952
1f66b3618        ---P--F 0        informix -        0                0    0     0        5105276
1f66b3e40        ---P--F 0        informix -        0                0    0     0        3405353
1f66b4668        ---P--F 0        informix -        0                0    0     0        1634284
1f66b4e90        ---P--F 0        informix -        0                0    0     0        4919602
1f66b56b8        ---P--F 0        informix -        0                0    0     0        3763118
1f66b5ee0        ---P--F 0        informix -        0                0    0     0        3018632
1f66b6708        ---P--F 0        informix -        0                0    0     0        5596024
1f66b6f30        ---P--F 0        informix -        0                0    0     0        3846158
1f66b7758        ---P--F 0        informix -        0                0    0     0        5975314
1f66b7f80        ---P--F 0        informix -        0                0    0     0        2038239
1f66b87a8        ---P--F 0        informix -        0                0    0     0        4415366
1f66b8fd0        ---P--- 9        informix -        0                0    0     0        636483
1f66b97f8        ---P--B 10       informix -        0                0    0     38291162 474960
1f66ba848        Y--P--D 74       informix -        10a15d738        0    0     0        0
1f66bb070        ---P--D 20       informix -        0                0    0     0        1
1f66bb898        Y--P--- 101      nrmuser  14       1f74f0660        0    1     781      0
1f66bc0c0        Y--P--- 79       nmosuser -        1f74f5428        0    1     55830    32
1f66bc8e8        Y--P--- 350882   nmosuser -        204222728        0    1     3        0
1f66bd110        Y--P--- 211964   nmosuser DSSSERVE 1fea490b0        0    1     0        0
1f66bd938        Y--P--- 476      nmosuser -        1f7ce1228        0    1     59       16
1f66be160        Y--P--- 498      nmosuser -        1f7c1df28        0    1     65       48
1f66be988        Y--P--- 793577   nmosuser WGDOMAIN 1fed7f4d8        0    1     0        0
1f66bf9d8        Y--P--- 502      nmosuser -        1f8568f28        0    1     61       0
1f66c0200        Y--P--- 799711   nmosuser -        1fea7b910        0    1     23       0
1f66c0a28        Y--P--- 803213   nmosuser WGDOMAIN 1fed7f1c0        0    1     0        0
1f66c1250        Y--P--- 808369   nmosuser 18       1f8e35dd8        0    1     0        0
1f66c1a78        Y--P--- 958      nmosuser -        1f8101828        0    1     100      16
1f66c22a0        Y--P--- 264809   nmosuser 12       1f90cd410        0    2     422615   3319408
1f66c2ac8        Y--P--- 667139   nmosuser -        1fdd3e708        0    1     163      0
1f66c3b18        Y--P--- 464      nmosuser -        1f82402c8        0    1     139      16
1f66c4b68        Y--P--- 797732   nmosuser 2        1ff1afee8        0    1     0        0
1f66c5390        Y--P--- 797756   nmosuser 2        1fa5d88a8        0    1     0        0
1f66c5bb8        Y--P--- 56       nmosuser -        1f80d7358        0    1     278      16
1f66c63e0        Y--P--- 797704   nmosuser 2        1fa709650        0    1     0        0
1f66c6c08        Y--P--- 253041   nmosuser -        1fa73a6c8        0    1     15       0
1f66c7430        Y--P--- 62       nmosuser -        1f8114860        0    1     48480    64
1f66c7c58        Y--P--- 804658   nmosuser BBOCCO-Z 1fb3ad028        0    1     23       0
1f66c8480        Y--P--- 264817   nmosuser 12       1fa222788        0    2     277137   3078990
1f66c8ca8        Y--P--- 479      nmosuser -        1f7ce12a8        0    1     170      16
1f66c94d0        Y--P--- 418      nmosuser -        1f85252b8        0    1     137      0
1f66c9cf8        Y--P--- 804837   nmosuser BOCO-F76 1fdc5c9a8        0    1     227      0
1f66ca520        Y--P--- 198      nmosuser -        1f8399028        0    1     108      0
1f66cad48        Y--P--- 671706   nmosuser -        1ff29f3e8        0    1     196      16
1f66cb570        Y--P--- 1062     nmosuser -        1f87659b8        0    1     428      64
1f66cbd98        Y--P--- 534      nmosuser -        1f8101da8        0    1     87       64
1f66ccde8        Y--P--- 802356   nmosuser 2        1fbad3eb0        0    1     1        0
1f66cd610        Y--P--- 808316   nmosuser 5        203181528        0    1     9        0
1f66cde38        Y--P--- 419      nmosuser -        1f70a43a8        0    1     77       16
1f66ce660        Y--P--- 389      nmosuser -        1f7c776f8        0    1     69       48
1f66cee88        Y--P--- 1044     nmosuser -        1f84a7d78        0    1     58       32
1f66cf6b0        Y--P--- 671712   nmosuser -        1fae87fa8        0    1     33       0
1f66cfed8        Y--P--- 266732   nmosuser -        1fa54aa28        0    1     2424     16
1f66d0700        Y--P--- 6511     nmosuser -        1f893b0b0        0    1     11       0
1f66d0f28        Y--P--- 1067     nmosuser -        1f87c1468        0    1     76       32
1f66d1750        Y--P--- 1339     nmosuser -        1f8bf5598        0    1     2013     32
1f66d1f78        Y--P--- 802345   nmosuser 2        1f8765a38        0    1     11       0
1f66d27a0        Y--P--- 763      nmosuser -        1f8421e98        0    1     63       32
1f66d37f0        Y--P--- 10440    nmosuser -        1f9476a08        0    1     1145     64
1f66d4018        Y--P--- 7183     nmosuser -        1f8da8878        0    1     90       0
1f66d4840        Y--P--- 814861   informix 22       1f9476880        0    1     0        0
1f66d5068        Y--P--- 1039     nmosuser -        1f87626a8        0    1     94       48
1f66d5890        Y--P--- 1041     nmosuser -        1f8732228        0    1     57       0
1f66d68e0        Y--P--- 2167     nmosuser -        1f8934cb0        0    1     655      0
1f66d7108        Y--P--- 1078     nmosuser -        1f84b22c8        0    1     104      0
1f66d7930        Y--P--- 667629   nmosuser -        1fb862bb8        0    1     0        0
1f66d8158        Y--P--- 1395     nmosuser -        1f8ef06f8        0    1     76       0
1f66d8980        Y--P--- 1431     nmosuser -        1f8bf5bb0        0    1     61       32
1f66d91a8        Y--P--- 797719   nmosuser 2        1fd8fcfa8        0    1     0        0
1f66d99d0        Y--P--- 9217     nmosuser -        1f96338a8        0    1     8332     32
1f66da1f8        Y--P--- 12302    nmosuser -        1f974df28        0    1     1        0
1f66daa20        Y--P--- 3861     nmosuser -        1f86e05a8        0    1     68       16
1f66db248        Y--P--- 1328     nmosuser -        1f8d06f50        0    1     44       0
1f66dba70        Y--P--- 802354   nmosuser 2        1ff3b8880        0    1     0        0
1f66dc298        Y--P--- 4692     nmosuser -        1f918f2c8        0    1     55       16
1f66dd2e8        Y--P--- 264807   nmosuser 12       1f80735f0        0    2     248942   2045086
1f66de338        Y--P--- 667634   nmosuser -        1fa918e60        0    1     0        0
1f66df388        Y--P--- 7761     nmosuser -        1f937cc28        0    1     52       0
1f66dfbb0        Y--P--- 667633   nmosuser -        1fcdc0fa8        0    1     231      0
1f66e03d8        Y--P--- 667620   nmosuser -        1ff236dd8        0    1     0        0
1f66e0c00        Y--P--- 717951   nmosuser -        1fa6bb6a8        0    1     1136     0
1f927c028        Y--P--- 796949   nmosuser WGDOMAIN 1fa73a5c8        0    1     0        0
1f927c850        Y--P--- 264801   nmosuser 12       1fa3501c8        0    2     1235900  10396235
1f927d078        Y--P--- 8661     nmosuser -        1f9633728        0    1     688      16
1f927d8a0        Y--P--- 778834   informix WGDOMAIN 202a23378        0    1     0        0
1f927e0c8        Y--P--- 264813   nmosuser 12       1fef9f2c8        0    1     0        0
1f927e8f0        Y--P--- 672974   nmosuser 40L2TMPH 1fb4a56c0        0    1     139758   9184
1f927f118        Y--P--- 132918   nmosuser -        1fa4c3028        0    1     528      0
1f9280990        Y--P--- 7747     nmosuser -        1f81010a8        0    1     42       16
1f92819e0        Y--P--- 808842   nmosuser WGDOMAIN 1ff18fd48        0    1     0        0
1f9282a30        Y--P--- 350883   nmosuser -        20222ffa8        0    1     0        0
1f9283258        Y--P--- 797693   nmosuser 2        1fd63f3e0        0    1     53       0
1f9283a80        Y--P--- 808413   nmosuser SCMCC-P2 2031045a8        0    1     1        0
1f92842a8        Y--P--- 675878   nmosuser 40L2TMPH 1fb90abe8        0    1     0        0
1f9284ad0        Y--P--- 13166    nmosuser -        1f9473cd8        0    1     62       32
1f92852f8        Y--P--- 667619   nmosuser -        2042223a8        0    1     355      16
1f9285b20        Y--P--- 797684   nmosuser 2        1ff033340        0    1     0        0
1f9286348        Y--P--- 5682     nmosuser -        1f9528cb8        0    1     97       0
1f9287398        Y--P--- 797762   nmosuser 2        1ff4520a8        0    1     0        0
1f9287bc0        Y--P--- 675871   nmosuser 40L2TMPH 1f81303e0        0    1     1        0
1f92883e8        Y--P--- 266721   nmosuser -        1fdbfe028        0    1     4884     0
1f9288c10        Y--P--- 30811    nmosuser -        1f9b76e40        0    1     0        0
1f9289438        Y--P--- 797695   nmosuser 2        1f85bbf88        0    1     6        0
1f928a488        Y--P--- 797725   nmosuser 2        1fa623b48        0    1     0        0
1f928acb0        Y--P--- 793021   nmosuser CMCC-B4Q 1fd238fa8        0    1     0        0
1f928b4d8        Y--P--- 797757   nmosuser 2        1fac69678        0    1     0        0
1f928c528        Y--P--- 717952   nmosuser -        1fa4812c8        0    1     0        0
1f928cd50        Y--P--- 133125   nmosuser DSSSERVE 1fa4cc448        0    1     53       0
1f928d578        Y--P--- 29637    nmosuser -        1f96116f8        0    1     28       0
1f928dda0        Y--P--- 264816   nmosuser 12       1fb4d33c8        0    1     0        0
1f928f618        Y--P--- 350879   nmosuser -        2042207b0        0    1     0        0
1f928fe40        Y--P--- 30810    nmosuser -        1f9ba52c8        0    1     0        0
1f9290e90        Y--P--- 667616   nmosuser -        1f9000d50        0    1     0        0
1f92916b8        Y--P--- 266733   nmosuser -        1fa2b8de8        0    1     0        0
1f9292708        Y--P--- 808288   nmosuser USER-7C0 1f93f0e50        0    1     0        0
1f9292f30        Y--P--- 29636    nmosuser -        1fa0e2b98        0    1     30       0
1f9293758        Y--P--- 254552   nmosuser -        1f9614e40        0    1     0        0
1f9293f80        Y--P--- 29945    nmosuser -        1f96073d0        0    1     21       0
1f92947a8        Y--P--- 28778    nmosuser -        1f9fff5f0        0    1     173      16
1f9294fd0        Y--P--- 797751   nmosuser 2        1f935ffa8        0    1     0        0
1f92957f8        Y--P--- 675851   nmosuser 40L2TMPH 1ff028800        0    1     23       0
1f9296020        Y--P--- 264814   nmosuser 12       1ff1cb028        0    2     758      4616
1f9296848        Y--P--- 797750   nmosuser 2        20351f490        0    1     0        0
1f9297070        Y--P--- 804129   nmosuser ADMINIST 1f7f6e628        0    1     48411    48384
1f9297898        Y--P--- 29597    nmosuser -        1fa0aae38        0    1     7        0
1f92980c0        Y--P--- 132919   nmosuser -        1fa389fa8        0    1     0        0
1f92988e8        Y--P--- 806321   nmosuser ZTE      1fa7d6da8        0    1     0        0
1f9299110        Y--P--- 797731   nmosuser 2        1fb6a0c38        0    1     0        0
1f929a160        Y--P--- 797741   nmosuser 2        1f7b7e228        0    1     0        0
1f929a988        Y--P--- 797716   nmosuser 2        1f86e0028        0    1     0        0
1f929c200        Y--P--- 797765   nmosuser 2        1f7e20530        0    1     0        0
1f929e2a0        Y--P--- 264815   nmosuser 12       1fd6b3710        0    1     14054    338689
1f929eac8        Y--P--- 264810   nmosuser 12       1fb4d32c8        0    2     119119   1139147
1f929fb18        Y--P--- 254551   nmosuser -        1fef9f248        0    1     0        0
1f92a0340        Y--P--- 802026   nmosuser 1        2031812a8        0    1     341      316
1f92a0b68        Y--P--- 802357   nmosuser 2        1f9495f28        0    1     4        0
1f92a1390        Y--P--- 211961   nmosuser DSSSERVE 1fb79cfa8        0    1     2        0
1f92a1bb8        Y--P--- 282825   nmosuser -        1f9623fa8        0    1     0        0
1f92a2c08        Y--P--- 797755   nmosuser 2        1face2fa8        0    1     0        0
1f92a3430        Y--P--- 264811   nmosuser 12       1fd2eaf68        0    2     36230    328652
1f92a3c58        Y--P--- 797692   nmosuser 2        1f989d6b8        0    1     52       0
1f92a4ca8        Y--P--- 667138   nmosuser -        203fa8628        0    1     902      16
1f92a5cf8        Y--P--- 717942   nmosuser -        1fdc5c138        0    1     0        0
1f92a6520        Y--P--- 797717   nmosuser 2        1f7e20ce0        0    1     0        0
1f92a6d48        Y--P--- 264805   nmosuser 12       1fb862c38        0    2     20949    151651
1f92a7570        Y--P--- 797759   nmosuser 2        202894bd8        0    1     0        0
1f92a85c0        Y--P--- 253019   nmosuser 40L2TMPH 1fa55cf70        0    1     355      112
1f92a8de8        Y--P--- 797718   nmosuser 2        201446fa8        0    1     0        0
1f92a9610        Y--P--- 797742   nmosuser 2        1fa3baf88        0    1     0        0
1f92a9e38        Y--P--- 264804   nmosuser 12       1fa350248        0    2     5413     50632
1f92aa660        Y--P--- 301201   nmosuser ZTE      1fa623548        0    1     37       0
1f92abed8        Y--P--- 727908   nmosuser CMCC-B4Q 1fb858c58        0    1     0        0
1f92ac700        Y--P--- 350880   nmosuser -        204222528        0    1     0        0
1f92acf28        Y--P--- 139740   nmosuser DSSSERVE 1fa7d6f28        0    1     0        0
1f92ad750        Y--P--- 797764   nmosuser 2        1fd574fa8        0    1     0        0
1f92ae7a0        Y--P--- 627814   nmosuser -        1f7de82a8        0    2     14912    142624
1f92b0840        Y--P--- 797724   nmosuser 2        1fa3500c8        0    1     0        0
1f92b28e0        Y--P--- 264812   nmosuser 12       1fea7ba90        0    2     30628    289804
1f92b3108        Y--P--- 797760   nmosuser 2        203181828        0    1     0        0
1f92b3930        Y--P--- 797730   nmosuser 2        204222bc8        0    1     0        0
1f92b4158        Y--P--- 778852   informix WGDOMAIN 1f9bcefa8        0    1     5        0
1f92b4980        Y--P--- 797715   nmosuser 2        1fa55cef0        0    1     0        0
1f92b51a8        Y--P--- 797763   nmosuser 2        2033c7fa8        0    1     0        0
1f92b59d0        Y--P--- 817285   nmosuser SCMCC-GK 203fc9d68        0    1     0        0
1f92b61f8        Y--P--- 797723   nmosuser 2        203fc98e8        0    1     0        0
1f92b6a20        Y--P--- 646719   nmosuser 40L2TMPH 1fa8ca3e8        0    1     157      64
1f92b7a70        Y--P--- 797687   nmosuser 2        1f9633a28        0    1     0        0
1f92b8ac0        Y--P--- 133025   kefu     -        1fa6f3d88        0    1     297      0
1f92bab60        Y--P--- 636729   nmosuser DSSSERVE 202a23900        0    1     48276    48188
1f92bb388        Y--P--- 264803   nmosuser 12       1f97596e8        0    2     142028   1244815

miaohuil

1f92bbbb0        Y--P--- 797726   nmosuser 2        1fea7b1a8        0    1     0        0
1f92bc3d8        Y--P--- 797680   nmosuser 2        2030fba28        0    1     0        0
1f92bcc00        Y--P--- 799782   nmosuser -        203248790        0    1     55       0
1ff23b850        Y--P--- 717937   nmosuser -        1ff495240        0    1     6332     0
1ff23c8a0        Y--P--- 802349   nmosuser 2        202fd08a8        0    1     2        0
1ff23e118        Y--P--- 797685   nmosuser 2        20437d0a8        0    1     0        0
1ff23e940        Y--P--- 266722   nmosuser -        1fe6b7fa8        0    1     0        0
1ff23f990        Y--P--- 350878   nmosuser -        20418cc08        0    1     0        0
1ff2401b8        Y--P--- 798202   nmosuser CMCC-B4Q 203248360        0    1     0        0
1ff2409e0        Y--P--- 282826   nmosuser -        1fb3ad128        0    1     0        0
1ff241a30        Y--P--- 266686   nmosuser 30       1f8101d28        0    1     32281    1352286
1ff242258        Y--P--- 797683   nmosuser 2        1faab7670        0    1     7        0
1ff242a80        Y--P--- 793440   nmosuser WGDOMAIN 1fd63fbc0        0    1     0        0
1ff2432a8        Y--P--- 797739   nmosuser 2        203104528        0    1     0        0
1ff243ad0        Y--P--- 797727   nmosuser 2        1fa6f3448        0    1     0        0
1ff245348        Y--P--- 797722   nmosuser 2        1fb5b0a00        0    1     0        0
1ff245b70        Y--P--- 797729   nmosuser 2        1fa464348        0    1     0        0
1ff246398        Y--P--- 797728   nmosuser 2        2028947d8        0    1     0        0
1ff247c10        Y--P--- 797699   nmosuser 2        1fd63f4e8        0    1     1        0
1ff248438        Y--P--- 797761   nmosuser 2        203fca128        0    1     0        0
1ff248c60        Y--P--- 808501   nmosuser 9        1fa4fbb48        0    1     0        0
1ff24a4d8        Y--P--- 797744   nmosuser 2        1ff18f028        0    1     0        0
1ff24ad00        Y--P--- 797767   nmosuser 2        1ff18fdc8        0    1     0        0
1ff24b528        Y--P--- 797748   nmosuser 2        1ff09cab8        0    1     0        0
1ff24bd50        Y--P--- 797677   nmosuser 2        1fa5d8aa8        0    1     0        16
1ff24c578        Y--P--- 797733   nmosuser 2        1fa0af808        0    1     0        0
1ff24cda0        Y--P--- 797720   nmosuser 2        1ff0f6928        0    1     0        0
1ff24d5c8        Y--P--- 717938   nmosuser -        1fa7e7bb0        0    1     1        0
1ff24e618        Y--P--- 675934   nmosuser 40L2TMPH 1fb4c6248        0    1     0        0
1ff24f668        Y--P--- 787152   nmosuser -        203104c28        0    1     13       0
1ff24fe90        Y--P--- 797777   nmosuser 2        203fc9f68        0    1     0        0
1ff2506b8        Y--P--- 667628   nmosuser -        1fa6ea2c8        0    1     719      0
1ff2537a8        Y--P--- 816728   nmosuser XCHICKEN 1ff1dfcd0        0    1     3028     3024
1ff253fd0        Y--P--- 797747   nmosuser 2        20351f410        0    1     0        0
1ff2547f8        Y--P--- 797749   nmosuser 2        1ff29bb40        0    1     0        0
1ff255848        Y--P--- 799712   nmosuser -        1f8762828        0    1     0        0
1ff256898        Y--P--- 797758   nmosuser 2        1ff09cbb8        0    1     0        0
1ff2578e8        Y--P--- 671704   nmosuser -        1fc35afa8        0    1     0        0
1ff258110        Y--P--- 812865   nmosuser CLOUDIBM 202a20fa8        0    1     0        0
1ff258938        Y--P--- 675922   nmosuser 40L2TMPH 1fd9ee350        0    1     1        0
1ff259160        Y--P--- 797706   nmosuser 2        1fa5d80a8        0    1     0        0
1ff259988        Y--P--- 797740   nmosuser 2        203248710        0    1     0        0
1ff25c250        Y--P--- 350881   nmosuser -        1ff2c64d0        0    1     0        0
1ff25d2a0        Y--P--- 654483   nmosuser 40L2TMPH 1fb556fa8        0    1     83       48
1ff25eb18        Y--P--- 797752   nmosuser 2        1fb6621b8        0    1     0        0
1ff260390        Y--P--- 809228   nmosuser 8        204222ac8        0    1     1124     2320
1ff260bb8        Y--P--- 797713   nmosuser 2        200ce3fa8        0    1     0        0
1ff2613e0        Y--P--- 797712   nmosuser 2        1f8934ec0        0    1     0        0
1ff261c08        Y--P--- 812975   nmosuser CLOUDIBM 1fa222a18        0    1     0        0
1ff262c58        Y--P--- 726061   nmosuser -        2031811a8        0    1     0        0
1ff263480        Y--P--- 503716   nmosuser 40L2TMPH 1fa6d1d28        0    1     289      144
1ff263ca8        Y--P--- 397154   nmosuser ZTE      1ff452dc0        0    1     2        0
1ff265520        Y--P--- 796908   nmosuser WGDOMAIN 203fcac28        0    1     0        0
1ff265d48        Y--P--- 299952   nmosuser -        1fb3d03e8        0    1     633927   16
1ff267de8        Y--P--- 803157   nmosuser WGDOMAIN 1fb6a0138        0    1     0        0
1ff268610        Y--P--- 799701   nmosuser -        202a1bfa8        0    1     84       0
1ff268e38        Y--P--- 816079   nmosuser WGDOMAIN 1fa73a648        0    1     0        0
1ff269660        Y--P--- 814863   informix 22       203fc70a8        0    1     0        0
1ff26a6b0        Y--P--- 814591   nmosuser WGDOMAIN 1f9630778        0    1     0        0
1ff26aed8        Y--P--- 815883   nmosuser WGDOMAIN 1fb4a50a8        0    1     0        0
1ff26b700        Y--P--- 797735   nmosuser 2        1fe8b0fa8        0    1     0        0
1ff26c750        Y--P--- 817080   nmosuser WGDOMAIN 2008f2fa8        0    1     0        0
1ff26d7a0        Y--P--- 814859   informix 22       1fa623348        0    2     24411    572
1ff26dfc8        Y--P--- 814860   informix 22       1fa153f50        0    1     0        0
1ff270068        Y--P--- 797766   nmosuser 2        1fadf4950        0    1     0        0
1ff2710b8        Y--P--- 797707   nmosuser 2        1fdbfeb80        0    1     0        0
1ff2718e0        Y--P--- 797768   nmosuser 2        1f80fc570        0    1     0        0
1ff273980        Y--P--- 808384   nmosuser SCMCC-P2 1fd7799b8        0    1     0        0
1ff2749d0        Y--P--- 797705   nmosuser 2        1ff0cea80        0    1     0        0
1ff2751f8        Y--P--- 418226   nmosuser SCMCC-P2 1f7d14138        0    1     398570   0
1ff275a20        Y--P--- 797714   nmosuser 2        20426c3a0        0    1     0        0
1ff276248        Y--P--- 717941   nmosuser -        1f7f6e5a8        0    1     38032    0
1ff276a70        Y--P--- 756660   nmosuser 40L2TMPH 203fc7728        0    1     60       32
1ff277ac0        Y--P--- 814862   informix 22       1fa918c58        0    1     0        0
1ff2782e8        Y--P--- 816243   nmosuser SCMCC-GK 203fa8da8        0    1     0        0
1ff279338        Y--P--- 797776   nmosuser 2        1fb4a1570        0    1     0        0
1ff279b60        Y--P--- 803914   nmosuser ADMINIST 1f84a7028        0    1     48420    48384
1ff27abb0        Y--P--- 667615   nmosuser -        1ff1ae808        0    1     190      0
20b646028        Y--P--- 797743   nmosuser 2        2006505e0        0    1     0        0
20b647078        Y--P--- 797774   nmosuser 2        1fb9ba340        0    1     0        0
20b6478a0        Y--P--- 817171   nmosuser USER-7C0 1f7e46a88        0    1     0        0
20b6480c8        Y--P--- 780985   nmosuser -        1ff4b4990        0    1     21       0
20b649118        Y--P--- 726060   nmosuser -        1fb6a02e8        0    1     9        0
20b64a168        Y--P--- 675910   nmosuser 40L2TMPH 20426c2a0        0    1     0        0
20b64a990        Y--P--- 669801   nmosuser -        2026c2608        0    1     0        0
20b64b1b8        Y--P--- 797775   nmosuser 2        1fa464d08        0    1     0        0
20b64c208        Y--P--- 794075   nmosuser ZTE      1fd63fcc0        0    1     0        0
20b6523e8        Y--P--- 799702   nmosuser -        1ff0a8988        0    1     157      0
295 active, 512 total, 398 maximum concurrent

Profile
dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached
256538351 688075019 16396105195 98.44   120709631 201952998 884509388 86.40  

isamtot  open     start    read     write    rewrite  delete   commit   rollbk
11203898527 275501494 819999317 6633168396 230069735 61033295 74493134 11569321 629133

gp_read  gp_write gp_rewrt gp_del   gp_alloc gp_free  gp_curs
0        0        0        0        0        0        0      

ovlock   ovuserthread ovbuff   usercpu  syscpu   numckpts flushes
0        0            0        401460.25 104491.78 1965     3930   

bufwaits lokwaits lockreqs deadlks  dltouts  ckpwaits compress seqscans
8000094  88253    32419093556 2        0        8422     18626603 47181124

ixda-RA  idx-RA   da-RA    RA-pgsused lchwaits
23257742 408708   125857558 149491321  1622907

ga0feng

# vmstat 1
procs     memory            page            disk          faults      cpu
r b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id
0 0 0 14569024 8617176 0 0  0  0  0  0  0 30  1  0  0 4294967196 0 0 -105 -59 -260
0 4294967295 0 15840440 9594288 18 399 0 24 16 0 0 4 1 0 0 704 3161 1780 2 4 94
0 4294967295 0 15840376 9594288 5 131 0 8 8 0 0 1 0 0 0 745 3140 2107 3  2 94
0 4294967295 0 15840296 9594288 11 259 0 32 24 0 0 0 2 0 0 944 4574 3050 7 2 91
0 0 0 15840304 9594288 75 582 0 24 16 0 0 41  1  0  0 1080 8292 2931  7  2 91
0 4294967295 0 15838128 9592296 190 3533 0 48 40 0 0 9 0 0 0 889 12861 2758 16



就是process出了问题，这里的b是block的意思。被阻塞的I/O资源包括页面调度。
是非常的异常，数值都这么大了。
让DB的管理员来查一下DB的status吧。