我的系统IO负荷相当高，请大家帮忙看看是什么问题啊？

zdz000

HP-UX sxdb3 B.11.11 U 9000/800    07/11/08

10:50:31    %usr    %sys    %wio   %idle
10:50:32       8       5      85       2
10:50:33      15       7      73       5
10:50:34      44       2      52       2
10:50:35      47       3      48       2
10:50:36      25       3      72       0
10:50:37      25       2      71       2
10:50:38      26       3      68       3
10:50:39      23       4      70       3
10:50:40      23       4      72       1
10:50:41      32       4      61       3
sxdb3-/opt/informix/etc> sar -d 1 100000

HP-UX sxdb3 B.11.11 U 9000/800    07/11/08

10:50:55   device   %busy   avque   r+w/s  blks/s  avwait  avserv
10:50:56   c0t6d0    2.97    0.64      21     154    0.10    2.70
           c3t6d0    0.99    0.67      18     143    0.06    1.38
          c18t0d2  100.00   32.48    1694   11450   19.43    4.69
          c18t0d1   99.01   38.51    2693   18760   14.76    2.91
          c18t0d5    0.99    0.50       3      36    0.00    2.01
10:50:57   c0t6d0    3.00    0.50      12      92    0.00    3.44
          c18t0d2  100.00   33.74    1712   10632   19.84    4.64
          c18t0d1  100.00   39.03    2508   17364   17.13    3.20
10:50:58  c18t0d2  100.00   31.74    1686    9661   19.46    4.79
          c18t0d1  100.00   41.80    2386   16190   18.70    3.35
10:50:59   c0t6d0    4.00    0.50      13     176    0.00    5.75
           c3t6d0    1.00    0.50      11     168    0.00    1.73
          c18t0d2  100.00   31.88    1653    9180   19.64    4.83
          c18t0d1  100.00   38.45    2310   17608   16.69    3.45
          c18t0d5    1.00    0.50       2      32    0.00    3.05
10:51:00  c18t0d2   99.01   32.40    1675    9473   19.54    4.71
          c18t0d1   98.02   43.14    2449   18329   18.10    3.19
10:51:01  c18t0d2  100.00   34.29    1671    9172   20.70    4.76
          c18t0d1  100.00   44.06    2232   20400   21.78    3.59
10:51:02   c0t6d0    1.00    0.50       5      32    0.00    2.50
           c3t6d0    1.00    0.50       3      24    0.00    2.75
          c18t0d2  100.00   30.91    1665    8824   19.05    4.80
          c18t0d1  100.00   38.59    2179   19032   18.94    3.66
10:51:03   c0t6d0    8.16    0.50      41     235    0.00    2.74
           c3t6d0    1.02    0.50      31     182    0.00    0.50
          c18t0d2  100.00   31.08    1790    9873   17.96    4.54
          c18t0d1  100.00   33.68    2537   18992   13.83    3.17
10:51:04   c0t6d0    7.84    0.50      59     306    0.00    1.62
           c3t6d0    3.92    0.50      45     200    0.00    0.80
          c18t0d2   98.04   31.18    1590    9365   19.55    4.91
          c18t0d1   98.04   43.24    2487   18298   17.91    3.16
10:51:05   c0t6d0    3.00    0.50      15      74    0.00    2.37
          c18t0d2  100.00   31.41    1660    9520   19.35    4.80
          c18t0d1  100.00   40.05    2525   17844   16.66    3.16
sxdb3-/opt/informix/etc> iostat 1 10000

  device    bps     sps    msps  

  c0t6d0      0     0.0     1.0  
  c3t6d0      0     0.0     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2      0     0.0     1.0  
c18t0d1      0     0.0     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0     65    16.7     1.0  
  c3t6d0     47    10.8     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4053    1683.3     1.0  
c18t0d1    8563    2533.3     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0    209    43.1     1.0  
  c3t6d0    189    33.3     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4329    1701.0     1.0  
c18t0d1    8222    2572.5     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5     24     2.9     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0     24    13.9     1.0  
  c3t6d0     20    11.9     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4450    1777.2     1.0  
c18t0d1    8875    2637.6     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      2     1.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0     36     9.9     1.0  
  c3t6d0     32     7.9     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      4     1.0     1.0  
c18t0d2    4459    1725.7     1.0  
c18t0d1    9345    2747.5     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0    101    16.2     1.0  
  c3t6d0     97    14.1     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4648    1807.1     1.0  
c18t0d1    9101    2770.7     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0      0     0.0     1.0  
  c3t6d0      0     0.0     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4843    1686.3     1.0  
c18t0d1    7788    2326.5     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0     16     5.0     1.0  
  c3t6d0     12     3.0     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      0     0.0     1.0  
c18t0d2    4099    1682.2     1.0  
c18t0d1    8679    2551.5     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      0     0.0     1.0  
c11t0d1      0     0.0     1.0  

  c0t6d0    101    52.0     1.0  
  c3t6d0     79    45.1     1.0  
c10t0d1      0     0.0     1.0  
c10t0d2      0     0.0     1.0  
  c6t0d0      0     0.0     1.0  
  c6t0d3      0     0.0     1.0  
  c6t0d4      0     0.0     1.0  
c18t0d4      4     1.0     1.0  
c18t0d2    5327    1605.9     1.0  
c18t0d1    8637    2492.2     1.0  
c18t0d0      0     0.0     1.0  
c18t0d5      4     1.0     1.0  
c11t0d1      0     0.0     1.0  

sxdb3-/opt/informix/etc>

上面跑的informix的数据库，大家帮忙分析一下，io瓶颈在哪里？

zdz000

大虾们。帮忙看看啊！

zdz000

没人管啊？

sunraychuang

informax不大熟悉，不过还是先把硬件配置跟逻辑拓扑图贴出来

liaosnet

输出informix相关信息看下~~
onstat -g iof
onstat -g iob
onstat -p
等等~~不然实在没有办法说清楚?~~

zdz000

sxdb3-/opt/informix> onstat -g iof

IBM Informix Dynamic Server Version 9.40.FC8     -- On-Line -- Up 09:00:23 -- 6855532 Kbytes

AIO global files:
gfd pathname         totalops  dskread dskwrite  io/s
  3 rootchk              2528      381     2147   0.1
  4 plogchk            151931        3   151928   4.7
  5 llogchk            251719     2172   249547   7.8
  6 npmchk           12876987 10842172  2034815 397.1
  7 npmchk_a          9505144  9059750   445394 293.2
  8 npmchk_b                1        1        0   0.0
  9 npmchk_c                1        1        0   0.0
10 dpmchk1            732552   454869   277683  22.6
11 dpmchk2            733088   455650   277438  22.6
12 dpmchk3            732075   454755   277320  22.6
13 dpmchk4            731842   454711   277131  22.6
14 dpmchk5            732712   455360   277352  22.6
15 dpmchk6            729909   452418   277491  22.5
16 dpmchk7            733658   456205   277453  22.6
17 dpmchk8            732903   455198   277705  22.6
18 apmchk1              5785     3915     1870   0.2
19 apmchk2              5326     3766     1560   0.2
20 apmchk3              5595     4042     1553   0.2
21 apmchk4              5538     3984     1554   0.2
22 apmchk5            992483   855750   136733  30.6
23 apmchk6              2790     2153      637   0.1
24 apmchk7             18159    11312     6847   0.6
25 apmchk8             11777     6100     5677   0.4
26 apmchk9              2323     1916      407   0.1
27 apmchk10             3419     2396     1023   0.1
28 apmchk11             4283     2911     1372   0.1
29 apmchk12             3541     3202      339   0.1
30 idxchk            2749815  2681303    68512  84.8
31 tmpchk1           1342303    90398  1251905  41.4
32 tmpchk2           1063464    89866   973598  32.8
33 tmpchk3           1024211    88040   936171  31.6
34 tmpchk4           1096519    91040  1005479  33.8
35 tmpchk5           1366523    87135  1279388  42.1
36 tmpchk6           1240607    87553  1153054  38.3
37 tmpchk7           1299754    84033  1215721  40.1
38 tmpchk8           1237198    90584  1146614  38.2
39 tmpchk9           1257715    87145  1170570  38.8
40 tmpchk10          1317551    89116  1228435  40.6
41 tmpchk11          1277450    86209  1191241  39.4
42 tmpchk12          1162052    91333  1070719  35.8
43 hpmchk1            891136   445242   445894  27.5
44 hpmchk2            840915   466401   374514  25.9
45 hpmchk3            840402   430479   409923  25.9
46 hpmchk4            866000   430665   435335  26.7
47 hpmchk5            779830   387136   392694  24.1
48 hpmchk6            524658   325848   198810  16.2
49 hpmchk7           1888285   998675   889610  58.2
50 hpmchk8            693791   447008   246783  21.4
51 hpmchk9            641662   394430   247232  19.8
52 hpmchk10           901172   479108   422064  27.8
53 hpmchk11           821502   398571   422931  25.3
54 hpmchk12           208296    80036   128260   6.4
55 hpmchk1_a               1        1        0   0.0
56 hpmchk2_a               1        1        0   0.0
57 hpmchk3_a               1        1        0   0.0
58 hpmchk4_a               1        1        0   0.0
59 hpmchk5_a               1        1        0   0.0
60 hpmchk6_a           76729    32633    44096   2.4
61 hpmchk7_a          271893   190342    81551   8.4
62 hpmchk8_a               1        1        0   0.0
63 hpmchk9_a               1        1        0   0.0
64 hpmchk10_a              1        1        0   0.0
65 hpmchk11_a              1        1        0   0.0
66 hpmchk12_a         544621   332440   212181  16.8
67 hpmchk4_b               1        1        0   0.0
68 hpmchk3_b               1        1        0   0.0
69 hpmchk5_b           30795    19541    11254   0.9
70 hpmchk7_1               1        1        0   0.0
71 hpmchk8_b               1        1        0   0.0
72 hpmchk9_b               1        1        0   0.0
73 hpmchk7_b               1        1        0   0.0
74 hpmchk8_c               1        1        0   0.0
75 hpmchk1_b               1        1        0   0.0
76 hpmchk2_b               1        1        0   0.0
77 hpmchk6_b               1        1        0   0.0
78 hpmchk7_c               1        1        0   0.0
79 hpmchk8_d               1        1        0   0.0
80 hpmchk9_c               1        1        0   0.0
81 hpmchk10_b              1        1        0   0.0
82 hpmchk11_b              1        1        0   0.0
83 hpmchk12_b              1        1        0   0.0
84 idxchk_a          5460126  2041188  3418938 168.4
85 apmchk1_a               1        1        0   0.0
86 apmchk2_a               1        1        0   0.0
87 apmchk3_a               1        1        0   0.0
88 apmchk4_a               1        1        0   0.0
89 apmchk5_a               1        1        0   0.0
90 apmchk6_a               1        1        0   0.0
91 apmchk7_a               1        1        0   0.0
92 apmchk8_a               1        1        0   0.0
93 apmchk9_a               1        1        0   0.0
94 apmchk10_a              1        1        0   0.0
95 apmchk11_a              1        1        0   0.0
96 apmchk12_a              1        1        0   0.0

sxdb3-/opt/informix> onstat -g iob

IBM Informix Dynamic Server Version 9.40.FC8     -- On-Line -- Up 09:00:56 -- 6855532 Kbytes

AIO big buffer usage summary:
class                 reads                                   writes
       pages    ops  pgs/op  holes  hl-ops hls/op      pages    ops  pgs/op
sqli_dbg      0       0   0.00      0       0   0.00           0      0   0.00
kio 51358424  34072142   1.51 942781  222035   4.25      29424855 15997302   1.84
adt      0       0   0.00      0       0   0.00           0      0   0.00
msc      0       0   0.00      0       0   0.00           0      0   0.00
aio 2075418  2064121   1.01   4938    1343   3.68      11689908 11345784   1.03
pio      0       0   0.00      0       0   0.00           0      0   0.00
lio      0       0   0.00      0       0   0.00           0      0   0.00

sxdb3-/opt/informix> onstat -p

IBM Informix Dynamic Server Version 9.40.FC8     -- On-Line -- Up 09:01:06 -- 6855532 Kbytes

Profile
dskreads pagreads bufreads %cached dskwrits pagwrits bufwrits %cached
38661248 53448517 3574433690 98.93   28177780 41120313 186824539 85.11  

isamtot  open     start    read     write    rewrite  delete   commit   rollbk
2890784085 2066382  400384236 1154231419 67587262 8018801  7090056  127822   416

gp_read  gp_write gp_rewrt gp_del   gp_alloc gp_free  gp_curs
0        0        0        0        0        0        0      

ovlock   ovuserthread ovbuff   usercpu  syscpu   numckpts flushes
0        0            0        21691.52 3119.24  108      218     

bufwaits lokwaits lockreqs deadlks  dltouts  ckpwaits compress seqscans
1542165  70       337773932 2        0        624      1881217  1345854

ixda-RA  idx-RA   da-RA    RA-pgsused lchwaits
2286290  110993   1939361  4320478    1532045

sxdb3-/opt/informix>

zdz000

请大侠看一下，如果还需要什么信息，我随时网上贴，感谢！！！

liaosnet

6 npmchk           12876987 10842172  2034815 397.1
  7 npmchk_a          9505144  9059750   445394 293.2

从chunk io上看主要集中于这两个chunk上(估计这两个chunk都分布于c18t0d2,c18t0d1这两个磁盘上)...数据库性能上倒是没有什么大问题....
看一下你的系统能否再增加些BUFFERS,如果不能,那你可能要检查下在这两个chunk上的表使用情况了,关注过多的表操作带来影响.也就是业务逻辑上看看有没有办法..

zdz000

感谢解答

iops

1. 解决性能慢的问题，需要时间的性能监控，同时配合实际的应用的情形，才可以找出瓶颈。
2。 你的存储型号和配置是什么？
3。 系统慢的时间段，维持多久时间？