请高手赶紧帮忙！！！！！！！！！iowait比较高

miaohuil

情况：EMC CX500盘柜，划了LUN0~4给一台主机，主机上面装了powerpath、VXVM、informix；最近出现iowait较高的情况,其中用sar输出的wio也很高，具体如下：（请高手赶紧帮忙分析一下原因吧！！！！！）\r\n # top                       \r\ntop: /dev/ksyms is not a 32-bit kernel namelist\r\nkvm_open: Error 0\r\n\r\nload averages:  0.59,  0.49,  0.61                                                                                         13:34:26\r\n153 processes: 152 sleeping, 1 on cpu\r\nCPU states: 53.4% idle,  4.3% user,  7.2% kernel, 35.0% iowait,  0.0% swap\r\nMemory: 16G real, 9410M free, 16M swap in use, 8177M swap free\r\n\r\n  PID USERNAME THR PRI NICE  SIZE   RES STATE   TIME    CPU COMMAND\r\n 2641 npmuser    4   0    0   17M   15M sleep   0:07  2.66% perl5.8.0\r\n 1836 informix   2  58    0    0K    0K sleep  33.9H  0.66% oninit\r\n 1829 informix   2  58    0    0K    0K sleep  25.4H  0.53% oninit\r\n 1958 informix   1  58    0    0K    0K sleep 726:34  0.44% oninit\r\n 9942 nrmuser    5  58    0   11M   10M sleep   3:55  0.31% AlarmForward.pl\r\n 2646 npmuser    5  48    0   18M   17M sleep   0:01  0.29% perl5.8.0\r\n 1837 informix   2  58    0    0K    0K sleep  24.4H  0.28% oninit\r\n 3200 root       1  58    0 1608K 1376K cpu15   0:00  0.05% top\r\n 1838 informix   2  58    0    0K    0K sleep 921:42  0.05% oninit\r\n  747 npmuser    5  33    0   18M   17M sleep   0:02  0.04% perl5.8.0\r\n 1976 npmuser    1  58    0 1608K 1376K sleep   0:00  0.04% top\r\n 9392 npmuser    1  58    0 1680K 1464K sleep   0:28  0.04% top\r\n 3302 npmuser    1   0    0 1672K 1304K sleep   0:00  0.03% csh\r\n 9961 nrmuser    5  58    0   15M   14M sleep   0:41  0.02% AlarmBackward.p\r\n 9998 npmuser    5  58    0   15M   14M sleep   0:16  0.02% perl5.8.0\r\n\r\n\r\n # sar\r\n\r\nSunOS sc3db1 5.8 Generic_108528-29 sun4u    05/11/06\r\n\r\n00:00:00    %usr    %sys    %wio   %idle\r\n01:00:00       7       3      35      56\r\n02:00:00       8       3      34      56\r\n03:00:00       7       3      34      56\r\n04:00:00       7       3      34      55\r\n05:00:00       8       4      34      55\r\n06:00:00       7       3      34      56\r\n07:00:00       7       3      34      56\r\n08:00:00       6       3      35      57\r\n08:20:00       6       3      35      57\r\n08:40:00       4       3      35      58\r\n09:00:00       4       3      35      57\r\n09:20:01       9       4      33      54\r\n09:40:00       6       3      34      56\r\n10:00:00       7       3      34      55\r\n10:20:00      10       4      33      53\r\n10:40:00       8       4      33      55\r\n11:00:00       7       4      33      55\r\n11:20:00       7       4      34      55\r\n11:40:00       5       3      35      58\r\n12:00:01       5       4      34      56\r\n12:20:00       8       5      33      54\r\n12:40:00       6       5      34      55\r\n13:00:00       5       4      34      56\r\n13:20:00       7       4      34      55\r\n\r\nAverage        7       3      34      56\r\n\r\n\r\n# iostat -xczn \r\n     cpu\r\n us sy wt id\r\n 25 14 11 50\r\n                    extended device statistics              \r\n    r/s    w/s   kr/s   kw/s wait actv wsvc_t asvc_t  %w  %b device\r\n   11.6   18.7  106.1  106.5  0.0  0.5    0.1   17.6   0  17 c0t0d0\r\n    0.2    0.6   45.6    8.0  0.0  0.0    0.1    9.3   0   1 c0t1d0\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c0t6d0\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d0\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d0\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d0\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d0\r\n   33.2   21.1  332.6   80.9  0.0  0.6    0.5   11.0   0  29 c2t0d1（这些值应该不算高，在同样机器上还更高，但IOWAIT都是正常的）\r\n\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d2\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d3\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t0d4\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d1\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d2\r\n    0.5    0.0   58.0    1.1  0.0  0.0    0.0    8.2   0   0 c2t1d3\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c2t1d4\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d1\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d2\r\n    0.5    0.0   58.3    1.1  0.0  0.0    0.0    7.7   0   0 c3t0d3\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t0d4\r\n   33.2   21.0  330.5   80.8  0.0  0.6    0.5   10.9   0  29 c3t1d1（这些值应该不算高，在同样机器上还更高，但IOWAIT都是正常的）\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d2\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d3\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.0   0   0 c3t1d4\r\n    0.0    0.4    0.3   22.7  0.0  0.0    0.0    0.9   0   0 rmt/1\r\n    0.0    1.0    0.0   60.8  0.0  0.0    0.0    1.0   0   0 rmt/2\r\n    0.0    0.7    0.1   44.7  0.0  0.0    0.0    0.9   0   0 rmt/3\r\n    0.2    0.9   13.1   59.9  0.0  0.0    0.0    0.9   0   0 rmt/4\r\n    0.0    0.9    0.2   56.7  0.0  0.0    0.0    1.0   0   0 rmt/5\r\n    0.0    0.9    0.1   59.1  0.0  0.0    0.0    1.0   0   0 rmt/6\r\n    0.0    0.0    0.0    0.0  0.0  0.0    0.0    0.2   0   0 sc3db1:vold(pid585)

东方蜘蛛

检查messages和卷的状态看是否有报错！

miaohuil

messages没有报错，informix用的是裸设备，用vxprint输出的状态来看，都是active的，而且在EMC CX500的盘柜上也没有报错。

ga0feng

建议不要孤立的看待IOW,最好同时检查一下Memory跟Process。\r\nusr的百分比太小了，估计是某个用户进程出了问题，检查一下db的状态跟log比较好\n\n[ 本帖最后由 ga0feng 于 2006-5-11 14:17 编辑 ]

东方蜘蛛

统一楼上的，建议检查后台进程！

nus

\"Memory: 16G real, 9410M free, 16M swap in use, 8177M swap free\r\n请贴如下输出：\r\n#df -k /tmp\r\n#swap -l\r\n#swap -s\r\n怀疑swap设置有低级错误。

miaohuil

原帖由 ga0feng 于 2006-5-11 14:13 发表\r\n建议不要孤立的看待IOW,最好同时检查一下Memory跟Process。\r\nusr的百分比太小了，估计是某个用户进程出了问题，检查一下db的状态跟log比较好

\r\n\r\n\r\nCPU minf mjf xcal  intr ithr  csw icsw migr smtx  srw syscl  usr sys  wt idl\r\n 12    0   0    4   249  147  450    0    4   16    0    14    0   1  99   0\r\n 13    0   0    0     7    2  309    1    5   12    0   629    9   1   0  90\r\n 14    0   0    0   177  174   83    0   13   14    0    96    0   0   0 100\r\n 15    0   0    0    25   23   65    0    7   21    0    33    0   0 100   0\r\n 20    0   0    0    53   49  136    1    1   10    0   233   11   1  88   0\r\n 21    0   0   29    49   47   55    0    4   17    0   497    3   0   0  97\r\n 22    0   0    0     2    0  425    0    2    1    0   810    0   4   0  96\r\n 23    0   0    1     5    2   92    0    0   21    0   487    0  11   0  89\r\n您看正常吗？（我对比了一下另一台差不多业务的正常主机，比较相似，可能是正常的，不过那台机器还要多4个CPU）\r\n# swap -l\r\nswapfile             dev  swaplo blocks   free\r\n/dev/dsk/c0t0d0s1   32,1      16 16779296 16747376\r\n# vmstat 1\r\n procs     memory            page            disk          faults      cpu\r\n r b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id\r\n 0 0 0 14569024 8617176 0 0  0  0  0  0  0 30  1  0  0 4294967196 0 0 -105 -59 -260\r\n 0 4294967295 0 15840440 9594288 18 399 0 24 16 0 0 4 1 0 0 704 3161 1780 2 4 94\r\n 0 4294967295 0 15840376 9594288 5 131 0 8 8 0 0 1 0 0 0 745 3140 2107 3  2 94\r\n 0 4294967295 0 15840296 9594288 11 259 0 32 24 0 0 0 2 0 0 944 4574 3050 7 2 91\r\n 0 0 0 15840304 9594288 75 582 0 24 16 0 0 41  1  0  0 1080 8292 2931  7  2 91\r\n 0 4294967295 0 15838128 9592296 190 3533 0 48 40 0 0 9 0 0 0 889 12861 2758 16 6 77\r\n# top\r\ntop: /dev/ksyms is not a 32-bit kernel namelist\r\nkvm_open: Error 0\r\n\r\nload averages:  0.99,  1.14,  1.00                                                                                         14:23:40\r\n165 processes: 164 sleeping, 1 on cpu\r\nCPU states: 55.8% idle,  5.5% user,  3.8% kernel, 34.9% iowait,  0.0% swap\r\nMemory: 16G real, 9387M free, 16M swap in use, 8177M swap free\r\n内存是否正常呢？？

miaohuil

% onstat   \r\n\r\nIBM Informix Dynamic Server Version 9.40.FC7     -- On-Line -- Up 20 days 03:26:42 -- 4890624 Kbytes\r\n\r\nUserthreads\r\naddress          flags   sessid   user     tty      wait             tout locks nreads   nwrites\r\n1f66a0028        ---P--D 1        informix -        0                0    0     4553     70534\r\n1f66a0850        ---P--F 0        informix -        0                0    0     0        6985455\r\n1f66a1078        ---P--F 0        informix -        0                0    0     0        2324027\r\n1f66a18a0        ---P--F 0        informix -        0                0    0     0        1149751\r\n1f66a20c8        ---P--F 0        informix -        0                0    0     0        832944\r\n1f66a28f0        ---P--F 0        informix -        0                0    0     0        1516645\r\n1f66a3118        ---P--F 0        informix -        0                0    0     0        786742\r\n1f66a3940        ---P--F 0        informix -        0                0    0     0        948019\r\n1f66a4168        ---P--F 0        informix -        0                0    0     0        588896\r\n1f66a4990        ---P--F 0        informix -        0                0    0     0        392641\r\n1f66a51b8        ---P--F 0        informix -        0                0    0     0        373476\r\n1f66a59e0        ---P--F 0        informix -        0                0    0     0        363906\r\n1f66a6208        ---P--F 0        informix -        0                0    0     0        296277\r\n1f66a6a30        ---P--F 0        informix -        0                0    0     0        269478\r\n1f66a7258        ---P--F 0        informix -        0                0    0     0        231153\r\n1f66a7a80        ---P--F 0        informix -        0                0    0     0        224635\r\n1f66a82a8        ---P--F 0        informix -        0                0    0     0        221019\r\n1f66a8ad0        ---P--F 0        informix -        0                0    0     0        214846\r\n1f66a92f8        ---P--F 0        informix -        0                0    0     0        202146\r\n1f66a9b20        ---P--F 0        informix -        0                0    0     0        397471\r\n1f66aa348        ---P--F 0        informix -        0                0    0     0        184763\r\n1f66aab70        ---P--F 0        informix -        0                0    0     0        432829\r\n1f66ab398        ---P--F 0        informix -        0                0    0     0        1266746\r\n1f66abbc0        ---P--F 0        informix -        0                0    0     0        980287\r\n1f66ac3e8        ---P--F 0        informix -        0                0    0     0        575177\r\n1f66acc10        ---P--F 0        informix -        0                0    0     0        5575196\r\n1f66ad438        ---P--F 0        informix -        0                0    0     0        1926384\r\n1f66adc60        ---P--F 0        informix -        0                0    0     0        504131\r\n1f66ae488        ---P--F 0        informix -        0                0    0     0        1102458\r\n1f66aecb0        ---P--F 0        informix -        0                0    0     0        1301358\r\n1f66af4d8        ---P--F 0        informix -        0                0    0     0        4829705\r\n1f66afd00        ---P--F 0        informix -        0                0    0     0        3133306\r\n1f66b0528        ---P--F 0        informix -        0                0    0     0        2054473\r\n1f66b0d50        ---P--F 0        informix -        0                0    0     0        4288174\r\n1f66b1578        ---P--F 0        informix -        0                0    0     0        5578442\r\n1f66b1da0        ---P--F 0        informix -        0                0    0     0        3149298\r\n1f66b25c8        ---P--F 0        informix -        0                0    0     0        5256697\r\n1f66b2df0        ---P--F 0        informix -        0                0    0     0        2339952\r\n1f66b3618        ---P--F 0        informix -        0                0    0     0        5105276\r\n1f66b3e40        ---P--F 0        informix -        0                0    0     0        3405353\r\n1f66b4668        ---P--F 0        informix -        0                0    0     0        1634284\r\n1f66b4e90        ---P--F 0        informix -        0                0    0     0        4919602\r\n1f66b56b8        ---P--F 0        informix -        0                0    0     0        3763118\r\n1f66b5ee0        ---P--F 0        informix -        0                0    0     0        3018632\r\n1f66b6708        ---P--F 0        informix -        0                0    0     0        5596024\r\n1f66b6f30        ---P--F 0        informix -        0                0    0     0        3846158\r\n1f66b7758        ---P--F 0        informix -        0                0    0     0        5975314\r\n1f66b7f80        ---P--F 0        informix -        0                0    0     0        2038239\r\n1f66b87a8        ---P--F 0        informix -        0                0    0     0        4415366\r\n1f66b8fd0        ---P--- 9        informix -        0                0    0     0        636483\r\n1f66b97f8        ---P--B 10       informix -        0                0    0     38291162 474960\r\n1f66ba848        Y--P--D 74       informix -        10a15d738        0    0     0        0\r\n1f66bb070        ---P--D 20       informix -        0                0    0     0        1\r\n1f66bb898        Y--P--- 101      nrmuser  14       1f74f0660        0    1     781      0\r\n1f66bc0c0        Y--P--- 79       nmosuser -        1f74f5428        0    1     55830    32\r\n1f66bc8e8        Y--P--- 350882   nmosuser -        204222728        0    1     3        0\r\n1f66bd110        Y--P--- 211964   nmosuser DSSSERVE 1fea490b0        0    1     0        0\r\n1f66bd938        Y--P--- 476      nmosuser -        1f7ce1228        0    1     59       16\r\n1f66be160        Y--P--- 498      nmosuser -        1f7c1df28        0    1     65       48\r\n1f66be988        Y--P--- 793577   nmosuser WGDOMAIN 1fed7f4d8        0    1     0        0\r\n1f66bf9d8        Y--P--- 502      nmosuser -        1f8568f28        0    1     61       0\r\n1f66c0200        Y--P--- 799711   nmosuser -        1fea7b910        0    1     23       0\r\n1f66c0a28        Y--P--- 803213   nmosuser WGDOMAIN 1fed7f1c0        0    1     0        0\r\n1f66c1250        Y--P--- 808369   nmosuser 18       1f8e35dd8        0    1     0        0\r\n1f66c1a78        Y--P--- 958      nmosuser -        1f8101828        0    1     100      16\r\n1f66c22a0        Y--P--- 264809   nmosuser 12       1f90cd410        0    2     422615   3319408\r\n1f66c2ac8        Y--P--- 667139   nmosuser -        1fdd3e708        0    1     163      0\r\n1f66c3b18        Y--P--- 464      nmosuser -        1f82402c8        0    1     139      16\r\n1f66c4b68        Y--P--- 797732   nmosuser 2        1ff1afee8        0    1     0        0\r\n1f66c5390        Y--P--- 797756   nmosuser 2        1fa5d88a8        0    1     0        0\r\n1f66c5bb8        Y--P--- 56       nmosuser -        1f80d7358        0    1     278      16\r\n1f66c63e0        Y--P--- 797704   nmosuser 2        1fa709650        0    1     0        0\r\n1f66c6c08        Y--P--- 253041   nmosuser -        1fa73a6c8        0    1     15       0\r\n1f66c7430        Y--P--- 62       nmosuser -        1f8114860        0    1     48480    64\r\n1f66c7c58        Y--P--- 804658   nmosuser BBOCCO-Z 1fb3ad028        0    1     23       0\r\n1f66c8480        Y--P--- 264817   nmosuser 12       1fa222788        0    2     277137   3078990\r\n1f66c8ca8        Y--P--- 479      nmosuser -        1f7ce12a8        0    1     170      16\r\n1f66c94d0        Y--P--- 418      nmosuser -        1f85252b8        0    1     137      0\r\n1f66c9cf8        Y--P--- 804837   nmosuser BOCO-F76 1fdc5c9a8        0    1     227      0\r\n1f66ca520        Y--P--- 198      nmosuser -        1f8399028        0    1     108      0\r\n1f66cad48        Y--P--- 671706   nmosuser -        1ff29f3e8        0    1     196      16\r\n1f66cb570        Y--P--- 1062     nmosuser -        1f87659b8        0    1     428      64\r\n1f66cbd98        Y--P--- 534      nmosuser -        1f8101da8        0    1     87       64\r\n1f66ccde8        Y--P--- 802356   nmosuser 2        1fbad3eb0        0    1     1        0\r\n1f66cd610        Y--P--- 808316   nmosuser 5        203181528        0    1     9        0\r\n1f66cde38        Y--P--- 419      nmosuser -        1f70a43a8        0    1     77       16\r\n1f66ce660        Y--P--- 389      nmosuser -        1f7c776f8        0    1     69       48\r\n1f66cee88        Y--P--- 1044     nmosuser -        1f84a7d78        0    1     58       32\r\n1f66cf6b0        Y--P--- 671712   nmosuser -        1fae87fa8        0    1     33       0\r\n1f66cfed8        Y--P--- 266732   nmosuser -        1fa54aa28        0    1     2424     16\r\n1f66d0700        Y--P--- 6511     nmosuser -        1f893b0b0        0    1     11       0\r\n1f66d0f28        Y--P--- 1067     nmosuser -        1f87c1468        0    1     76       32\r\n1f66d1750        Y--P--- 1339     nmosuser -        1f8bf5598        0    1     2013     32\r\n1f66d1f78        Y--P--- 802345   nmosuser 2        1f8765a38        0    1     11       0\r\n1f66d27a0        Y--P--- 763      nmosuser -        1f8421e98        0    1     63       32\r\n1f66d37f0        Y--P--- 10440    nmosuser -        1f9476a08        0    1     1145     64\r\n1f66d4018        Y--P--- 7183     nmosuser -        1f8da8878        0    1     90       0\r\n1f66d4840        Y--P--- 814861   informix 22       1f9476880        0    1     0        0\r\n1f66d5068        Y--P--- 1039     nmosuser -        1f87626a8        0    1     94       48\r\n1f66d5890        Y--P--- 1041     nmosuser -        1f8732228        0    1     57       0\r\n1f66d68e0        Y--P--- 2167     nmosuser -        1f8934cb0        0    1     655      0\r\n1f66d7108        Y--P--- 1078     nmosuser -        1f84b22c8        0    1     104      0\r\n1f66d7930        Y--P--- 667629   nmosuser -        1fb862bb8        0    1     0        0\r\n1f66d8158        Y--P--- 1395     nmosuser -        1f8ef06f8        0    1     76       0\r\n1f66d8980        Y--P--- 1431     nmosuser -        1f8bf5bb0        0    1     61       32\r\n1f66d91a8        Y--P--- 797719   nmosuser 2        1fd8fcfa8        0    1     0        0\r\n1f66d99d0        Y--P--- 9217     nmosuser -        1f96338a8        0    1     8332     32\r\n1f66da1f8        Y--P--- 12302    nmosuser -        1f974df28        0    1     1        0\r\n1f66daa20        Y--P--- 3861     nmosuser -        1f86e05a8        0    1     68       16\r\n1f66db248        Y--P--- 1328     nmosuser -        1f8d06f50        0    1     44       0\r\n1f66dba70        Y--P--- 802354   nmosuser 2        1ff3b8880        0    1     0        0\r\n1f66dc298        Y--P--- 4692     nmosuser -        1f918f2c8        0    1     55       16\r\n1f66dd2e8        Y--P--- 264807   nmosuser 12       1f80735f0        0    2     248942   2045086\r\n1f66de338        Y--P--- 667634   nmosuser -        1fa918e60        0    1     0        0\r\n1f66df388        Y--P--- 7761     nmosuser -        1f937cc28        0    1     52       0\r\n1f66dfbb0        Y--P--- 667633   nmosuser -        1fcdc0fa8        0    1     231      0\r\n1f66e03d8        Y--P--- 667620   nmosuser -        1ff236dd8        0    1     0        0\r\n1f66e0c00        Y--P--- 717951   nmosuser -        1fa6bb6a8        0    1     1136     0\r\n1f927c028        Y--P--- 796949   nmosuser WGDOMAIN 1fa73a5c8        0    1     0        0\r\n1f927c850        Y--P--- 264801   nmosuser 12       1fa3501c8        0    2     1235900  10396235\r\n1f927d078        Y--P--- 8661     nmosuser -        1f9633728        0    1     688      16\r\n1f927d8a0        Y--P--- 778834   informix WGDOMAIN 202a23378        0    1     0        0\r\n1f927e0c8        Y--P--- 264813   nmosuser 12       1fef9f2c8        0    1     0        0\r\n1f927e8f0        Y--P--- 672974   nmosuser 40L2TMPH 1fb4a56c0        0    1     139758   9184\r\n1f927f118        Y--P--- 132918   nmosuser -        1fa4c3028        0    1     528      0\r\n1f9280990        Y--P--- 7747     nmosuser -        1f81010a8        0    1     42       16\r\n1f92819e0        Y--P--- 808842   nmosuser WGDOMAIN 1ff18fd48        0    1     0        0\r\n1f9282a30        Y--P--- 350883   nmosuser -        20222ffa8        0    1     0        0\r\n1f9283258        Y--P--- 797693   nmosuser 2        1fd63f3e0        0    1     53       0\r\n1f9283a80        Y--P--- 808413   nmosuser SCMCC-P2 2031045a8        0    1     1        0\r\n1f92842a8        Y--P--- 675878   nmosuser 40L2TMPH 1fb90abe8        0    1     0        0\r\n1f9284ad0        Y--P--- 13166    nmosuser -        1f9473cd8        0    1     62       32\r\n1f92852f8        Y--P--- 667619   nmosuser -        2042223a8        0    1     355      16\r\n1f9285b20        Y--P--- 797684   nmosuser 2        1ff033340        0    1     0        0\r\n1f9286348        Y--P--- 5682     nmosuser -        1f9528cb8        0    1     97       0\r\n1f9287398        Y--P--- 797762   nmosuser 2        1ff4520a8        0    1     0        0\r\n1f9287bc0        Y--P--- 675871   nmosuser 40L2TMPH 1f81303e0        0    1     1        0\r\n1f92883e8        Y--P--- 266721   nmosuser -        1fdbfe028        0    1     4884     0\r\n1f9288c10        Y--P--- 30811    nmosuser -        1f9b76e40        0    1     0        0\r\n1f9289438        Y--P--- 797695   nmosuser 2        1f85bbf88        0    1     6        0\r\n1f928a488        Y--P--- 797725   nmosuser 2        1fa623b48        0    1     0        0\r\n1f928acb0        Y--P--- 793021   nmosuser CMCC-B4Q 1fd238fa8        0    1     0        0\r\n1f928b4d8        Y--P--- 797757   nmosuser 2        1fac69678        0    1     0        0\r\n1f928c528        Y--P--- 717952   nmosuser -        1fa4812c8        0    1     0        0\r\n1f928cd50        Y--P--- 133125   nmosuser DSSSERVE 1fa4cc448        0    1     53       0\r\n1f928d578        Y--P--- 29637    nmosuser -        1f96116f8        0    1     28       0\r\n1f928dda0        Y--P--- 264816   nmosuser 12       1fb4d33c8        0    1     0        0\r\n1f928f618        Y--P--- 350879   nmosuser -        2042207b0        0    1     0        0\r\n1f928fe40        Y--P--- 30810    nmosuser -        1f9ba52c8        0    1     0        0\r\n1f9290e90        Y--P--- 667616   nmosuser -        1f9000d50        0    1     0        0\r\n1f92916b8        Y--P--- 266733   nmosuser -        1fa2b8de8        0    1     0        0\r\n1f9292708        Y--P--- 808288   nmosuser USER-7C0 1f93f0e50        0    1     0        0\r\n1f9292f30        Y--P--- 29636    nmosuser -        1fa0e2b98        0    1     30       0\r\n1f9293758        Y--P--- 254552   nmosuser -        1f9614e40        0    1     0        0\r\n1f9293f80        Y--P--- 29945    nmosuser -        1f96073d0        0    1     21       0\r\n1f92947a8        Y--P--- 28778    nmosuser -        1f9fff5f0        0    1     173      16\r\n1f9294fd0        Y--P--- 797751   nmosuser 2        1f935ffa8        0    1     0        0\r\n1f92957f8        Y--P--- 675851   nmosuser 40L2TMPH 1ff028800        0    1     23       0\r\n1f9296020        Y--P--- 264814   nmosuser 12       1ff1cb028        0    2     758      4616\r\n1f9296848        Y--P--- 797750   nmosuser 2        20351f490        0    1     0        0\r\n1f9297070        Y--P--- 804129   nmosuser ADMINIST 1f7f6e628        0    1     48411    48384\r\n1f9297898        Y--P--- 29597    nmosuser -        1fa0aae38        0    1     7        0\r\n1f92980c0        Y--P--- 132919   nmosuser -        1fa389fa8        0    1     0        0\r\n1f92988e8        Y--P--- 806321   nmosuser ZTE      1fa7d6da8        0    1     0        0\r\n1f9299110        Y--P--- 797731   nmosuser 2        1fb6a0c38        0    1     0        0\r\n1f929a160        Y--P--- 797741   nmosuser 2        1f7b7e228        0    1     0        0\r\n1f929a988        Y--P--- 797716   nmosuser 2        1f86e0028        0    1     0        0\r\n1f929c200        Y--P--- 797765   nmosuser 2        1f7e20530        0    1     0        0\r\n1f929e2a0        Y--P--- 264815   nmosuser 12       1fd6b3710        0    1     14054    338689\r\n1f929eac8        Y--P--- 264810   nmosuser 12       1fb4d32c8        0    2     119119   1139147\r\n1f929fb18        Y--P--- 254551   nmosuser -        1fef9f248        0    1     0        0\r\n1f92a0340        Y--P--- 802026   nmosuser 1        2031812a8        0    1     341      316\r\n1f92a0b68        Y--P--- 802357   nmosuser 2        1f9495f28        0    1     4        0\r\n1f92a1390        Y--P--- 211961   nmosuser DSSSERVE 1fb79cfa8        0    1     2        0\r\n1f92a1bb8        Y--P--- 282825   nmosuser -        1f9623fa8        0    1     0        0\r\n1f92a2c08        Y--P--- 797755   nmosuser 2        1face2fa8        0    1     0        0\r\n1f92a3430        Y--P--- 264811   nmosuser 12       1fd2eaf68        0    2     36230    328652\r\n1f92a3c58        Y--P--- 797692   nmosuser 2        1f989d6b8        0    1     52       0\r\n1f92a4ca8        Y--P--- 667138   nmosuser -        203fa8628        0    1     902      16\r\n1f92a5cf8        Y--P--- 717942   nmosuser -        1fdc5c138        0    1     0        0\r\n1f92a6520        Y--P--- 797717   nmosuser 2        1f7e20ce0        0    1     0        0\r\n1f92a6d48        Y--P--- 264805   nmosuser 12       1fb862c38        0    2     20949    151651\r\n1f92a7570        Y--P--- 797759   nmosuser 2        202894bd8        0    1     0        0\r\n1f92a85c0        Y--P--- 253019   nmosuser 40L2TMPH 1fa55cf70        0    1     355      112\r\n1f92a8de8        Y--P--- 797718   nmosuser 2        201446fa8        0    1     0        0\r\n1f92a9610        Y--P--- 797742   nmosuser 2        1fa3baf88        0    1     0        0\r\n1f92a9e38        Y--P--- 264804   nmosuser 12       1fa350248        0    2     5413     50632\r\n1f92aa660        Y--P--- 301201   nmosuser ZTE      1fa623548        0    1     37       0\r\n1f92abed8        Y--P--- 727908   nmosuser CMCC-B4Q 1fb858c58        0    1     0        0\r\n1f92ac700        Y--P--- 350880   nmosuser -        204222528        0    1     0        0\r\n1f92acf28        Y--P--- 139740   nmosuser DSSSERVE 1fa7d6f28        0    1     0        0\r\n1f92ad750        Y--P--- 797764   nmosuser 2        1fd574fa8        0    1     0        0\r\n1f92ae7a0        Y--P--- 627814   nmosuser -        1f7de82a8        0    2     14912    142624\r\n1f92b0840        Y--P--- 797724   nmosuser 2        1fa3500c8        0    1     0        0\r\n1f92b28e0        Y--P--- 264812   nmosuser 12       1fea7ba90        0    2     30628    289804\r\n1f92b3108        Y--P--- 797760   nmosuser 2        203181828        0    1     0        0\r\n1f92b3930        Y--P--- 797730   nmosuser 2        204222bc8        0    1     0        0\r\n1f92b4158        Y--P--- 778852   informix WGDOMAIN 1f9bcefa8        0    1     5        0\r\n1f92b4980        Y--P--- 797715   nmosuser 2        1fa55cef0        0    1     0        0\r\n1f92b51a8        Y--P--- 797763   nmosuser 2        2033c7fa8        0    1     0        0\r\n1f92b59d0        Y--P--- 817285   nmosuser SCMCC-GK 203fc9d68        0    1     0        0\r\n1f92b61f8        Y--P--- 797723   nmosuser 2        203fc98e8        0    1     0        0\r\n1f92b6a20        Y--P--- 646719   nmosuser 40L2TMPH 1fa8ca3e8        0    1     157      64\r\n1f92b7a70        Y--P--- 797687   nmosuser 2        1f9633a28        0    1     0        0\r\n1f92b8ac0        Y--P--- 133025   kefu     -        1fa6f3d88        0    1     297      0\r\n1f92bab60        Y--P--- 636729   nmosuser DSSSERVE 202a23900        0    1     48276    48188\r\n1f92bb388        Y--P--- 264803   nmosuser 12       1f97596e8        0    2     142028   1244815

ga0feng

# vmstat 1\r\nprocs     memory            page            disk          faults      cpu\r\nr b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id\r\n0 0 0 14569024 8617176 0 0  0  0  0  0  0 30  1  0  0 4294967196 0 0 -105 -59 -260\r\n0 4294967295 0 15840440 9594288 18 399 0 24 16 0 0 4 1 0 0 704 3161 1780 2 4 94\r\n0 4294967295 0 15840376 9594288 5 131 0 8 8 0 0 1 0 0 0 745 3140 2107 3  2 94\r\n0 4294967295 0 15840296 9594288 11 259 0 32 24 0 0 0 2 0 0 944 4574 3050 7 2 91\r\n0 0 0 15840304 9594288 75 582 0 24 16 0 0 41  1  0  0 1080 8292 2931  7  2 91\r\n0 4294967295 0 15838128 9592296 190 3533 0 48 40 0 0 9 0 0 0 889 12861 2758 16 \r\n\r\n\r\n\r\n就是process出了问题，这里的b是block的意思。被阻塞的I/O资源包括页面调度。\r\n是非常的异常，数值都这么大了。\r\n让DB的管理员来查一下DB的status吧。

ga0feng

内存跟swap看起来还好。如果你对DB不懂的话，重起一下DB看一下