急，需要帮忙，HDISK4读写很厉害，导致应用系统性能狂低

babyzhou

大虾们，小弟碰到一个问题，小第先简单的描述下情况，可能提供的信息不是很到位，有什么就后补吧。
在7。30号晚上系统定修过，数据库oracle9i，操作系统aix 5.2,这次所有中间件（tuxedo,weblogic)启停过，操作系统也shutdown过，硬件也下过电，最后重新起来，起来后到7。31中午发现应用系统用起来很慢很慢，我们开发人员登陆数据库执行一条select语句也比往常要费劲。
这次定修没怎么做过动作，在HA测试的环节就没下去过，因为HA测试不行，后面的什么数据库碎片整理就根本没做。
HDISK4 是数据库文件系统存放的磁盘。
有什么需要补充的信息，在大虾指导下我再补充吧，
急。。。。
>topas
Topas Monitor for host:    p650              EVENTS/QUEUES    FILE/TTY
Thu Aug  2 08:10:39 2007   Interval:  2         Cswitch    2503  Readch  9313.5K
                                                Syscall    2381  Writech   67795
Kernel    4.1   |##                          |  Reads       500  Rawin         0
User      4.1   |##                          |  Writes      117  Ttyout      342
Wait     91.0   |##########################  |  Forks         2  Igets         0
Idle      0.8   |#                           |  Execs         1  Namei       127
                                                Runqueue    0.0  Dirblk        0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue  12.5
en0      67.6    172.0   162.0    34.9   100.3
lo0       1.9      9.0     9.0     1.9     1.9  PAGING           MEMORY
en1       0.9      3.0     2.0     0.9     0.9  Faults     2682  Real,MB    7167
en2       0.0      0.0     0.0     0.0     0.0  Steals     1666  % Comp     57.1
                                                PgspIn        0  % Noncomp  19.5
Disk    Busy%     KBPS     TPS KB-Read KB-Writ  PgspOut       0  % Client    0.5
hdisk4  100.0   6670.0   788.5 13276.0    64.0  PageIn     1661
hdisk2    0.0      0.0     0.0     0.0     0.0  PageOut       8  PAGING SPACE
dac0      0.0      2.0     0.5     4.0     0.0  Sios        844  Size,MB   12288
dac0-utm  0.0      0.0     0.0     0.0     0.0                   % Used      0.7
dac1      0.0   6670.0   788.5 13276.0    64.0  NFS (calls/sec)  % Free     99.2
dac1-utm  0.0      0.0     0.0     0.0     0.0  ServerV2       0
hdisk0    0.0      0.0     0.0     0.0     0.0  ClientV2       0   Press:
dac2      0.0      0.0     0.0     0.0     0.0  ServerV3       0   "h" for help
hdisk5    0.0      2.0     0.5     4.0     0.0  ClientV3       0   "q" to quit
dac2-utm  0.0      0.0     0.0     0.0     0.0
dac3      0.0      0.0     0.0     0.0     0.0

Name            PID  CPU%  PgSp Owner
oracle       524310   0.9   5.5 oraclec
lrud          45078   0.8   0.1 root   
oracle       884912   0.8  13.4 oraclec
oracle       827540   0.8   8.8 oraclec
oracle      1028342   0.4   8.4 oraclec
oracle      1429712   0.4   7.5 oraclec
oracle       921794   0.4  12.5 oraclec
oracle       675914   0.2  13.4 oraclec
oracle      1093654   0.2   8.3 oraclec
oracle       508152   0.2   4.8 oraclec
oracle       917696   0.2   7.2 oraclec
oracle       639138   0.2   9.9 oracle

>iostat 1 2

System configuration: lcpu=4 disk=14

tty:      tin         tout   avg-cpu:  % user    % sys     % idle    % iowait
          0.1         49.6               5.4      1.9       80.4      12.3     

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn
hdisk0           1.7      19.5       3.2    1443874   2274663
hdisk1           0.7       6.2       1.3     148531   1036707
hdisk2           2.5     524.0      19.5   77485691  22602244
dac0             0.0     441.9      41.0   78097781   6301628
dac0-utm         0.0       0.0       0.0          0         0
dac1             0.0     2386.7     182.0   433119575  22750892
dac1-utm         0.0       0.0       0.0          0         0
dac2             0.0       0.0       0.0          0         0
dac2-utm         0.0       0.0       0.0          0         0
dac3             0.0       0.0       0.0          0         0
dac3-utm         0.0       0.0       0.0          0         0
hdisk3           0.0       0.0       0.0          0         0
hdisk4          25.1     2815.4     222.1   510326069  27443980
hdisk5           0.2      13.1       0.9     891286   1608540

tty:      tin         tout   avg-cpu:  % user    % sys     % idle    % iowait
          0.0        1141.6              10.4      1.2        0.0      88.4     

Disks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn
hdisk0           1.0       4.0       1.0          4         0
hdisk1           0.0       0.0       0.0          0         0
hdisk2           0.0       0.0       0.0          0         0
dac0             0.0       0.0       0.0          0         0
dac0-utm         0.0       0.0       0.0          0         0
dac1             0.0     7655.4     484.2       7380       352
dac1-utm         0.0       0.0       0.0          0         0
dac2             0.0       0.0       0.0          0         0
dac2-utm         0.0       0.0       0.0          0         0
dac3             0.0       0.0       0.0          0         0
dac3-utm         0.0       0.0       0.0          0         0
hdisk3           0.0       0.0       0.0          0         0
hdisk4         100.0     7655.4     484.2       7380       352
hdisk5           0.0       0.0       0.0          0         0

babyzhou

>vmstat -v
              1835008 memory pages
              1746687 lruable pages
               435839 free pages
                    1 memory pools
               118349 pinned pages
                 80.1 maxpin percentage
                  5.0 minperm percentage
                 20.0 maxperm percentage
                 19.9 numperm percentage
               349216 file pages
                  0.0 compressed percentage
                    0 compressed pages
                  0.0 numclient percentage
                  5.0 maxclient percentage
                    0 client pages
                    0 remote pageouts scheduled
                    0 pending disk I/Os blocked with no pbuf
                    0 paging space I/Os blocked with no psbuf
                 3076 filesystem I/Os blocked with no fsbuf
                    0 client filesystem I/Os blocked with no fsbuf
                    0 external pager filesystem I/Os blocked with no fsbuf
>vmstat 2 5 hdisk4
System Configuration: lcpu=4 mem=7168MB
kthr     memory             page              faults        cpu     
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
1  3 1032051 434338   0   0   0 815 6259   0 1131 5212 1930  5  2 80 13
0 17 1032111 434282   0   0   0 1350 3505   0 1213 2858 2120  3  4  0 93
1 24 1032079 434309   0   0   0 1189 2921   0 1268 1703 2303  4  2  0 95
0 18 1032079 434313   0   0   0 1349 4672   0 1268 1667 2335  2  2  0 96
0 19 1032079 434316   0   0   0 1466 6573   0 1202 1814 1968  2  2  1 95

feiaix

看看数据库是不是在进行什么操作呀,多半是数据库的问题.

babyzhou

我也怀疑可能是数据库的原因，你能提供的思路怎么查吗？
我很急
现场使用ERP很慢，某个画面做个查询都很费劲

jimmytao

这个不完全就是I/O的瓶颈
回滚段的问题：
数据库未打补丁：
索引存在碎片：
磁盘I/O不均匀
数据库和性能相关的对象统计数据收集不完全：

这些都要去分析的

babyzhou

还需要那些收集，能给点操作流程吗？急
万分感谢

cwq_st

可能是oracle 没完全关闭的情况下，shutdown 机器了。重启机器后数据库会做修复或回滚。

iops

你的ERP慢是突发的，还是原来就存在慢的现象！

1.你的系统慢的应该来自I/O的情形？ 你可以告诉目前你使用的存储设备是什么吗？有没有使用RAID-5？
请把你的sar -u 和iostat -d 的采集时间在你最忙的时间段的值贴出来！

2.你可以把oracle上的statspack report贴出来看

3.你可以参考www.iops.com.cn的网站，有些资料你看一下，应该对你又帮助。

babyzhou

好
谢谢，iops  
好象问题差不多解决，再观察观察
之前改过minperm，maxperm，改成5%，20%
5.0 minperm percentage
  20.0 maxperm percentage
现在改成默认的，20%，80%

iops

我处理过许多类似的问题，如果你改参数可以改善目前的问题, 那就好了， 我建议你改完后，再看一下sar的值，是不是降低了。量化你的性能。
运行缓慢是不是进行月结时造成的?