AIX 5.3，内存耗尽，异步IO过多

zzs1978

环境：P570 4个双核CPU，12G内存，安装两个数据库实例，共分配5GSGA区内存，上面还跑了一些Java的应用。目前看磁盘非常繁忙，异步IO进程过多（aioserver已经达到最大值80个），剩余内存不足10M，换页空间12G，占用50％以上。
  请教如何进行调整才能解决性能问题
  共享内存占用情况如下：
   >ipcs -b
/dev/mem 的 IPC 状态为 公元2008年04月10日  星期四  16时23分44秒
T        ID     KEY        MODE       OWNER    GROUP QBYTES
消息队列:
q         0 0x4301a6c2 --rw-rw-rw-     root   system   4194304
q         1 0x4101a6c2 --rw-rw-rw-     root   system   4194304
q         2 0x4107001c -Rrw-rw----     root   printq   4194304
T        ID     KEY        MODE       OWNER    GROUP     SEGSZ
共享内存：
m         0 0x580010e7 --rw-rw-rw-     root   system 134217728
m         1 0xffffffff --rw-rw----     root   system      4096
m         2 0x0d000bb8 --rw-rw----     root   system      1440
m         3 0x67001118 --rw-r--r--     root   system        12
m         4 0x68001118 --rw-r--r--     root   system    106548
m         5 0x70001118 --rw-------     root   system      3152
m         6 0x7800071c --rw-rw-rw-     root   system  16777216
m         7 0xffffffff --rw-rw----     root   haemrm      4096
m         8 0xffffffff --rw-rw----     root   system      8192
m         9 0x52907ea0 --rw-r-----   oracle      dba 1913933824
m   1048586 0xd67f5458 --rw-r-----   oracle      dba 2870235136
T        ID     KEY        MODE       OWNER    GROUP NSEMS
信号：
s   2097152 0x580010e7 --ra-ra-ra-     root   system     1
s         1 0x440010e7 --ra-ra-ra-     root   system     2
s   1048578 0x010000fd --ra-------     root   system     1
s         3 0x620002c9 --ra-r--r--     root   system     1
s         4 0x69001118 --ra-ra-ra-     root   system     2
s         5 0x58000200 --ra-ra-r--     root   system     1
s   1048582 0x66011031 --ra-ra-r--     root   system     1


topas结果如下：
Thu Apr 10 16:27:34 2008   Interval:  2         Cswitch    6707  Readch  5963.9K
                                                Syscall   13662  Writech  144.2K
Kernel    3.6   |##                          |  Reads      1109  Rawin         0
User      7.5   |###                         |  Writes      891  Ttyout     1180
Wait     42.0   |############                |  Forks         0  Igets         0
Idle     46.9   |##############              |  Execs         0  Namei        79
                                                Runqueue    0.0  Dirblk        0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue   5.0
lo0     240.7   1253.6  1253.6   120.3   120.3
en2      26.6     67.7    28.6    16.3    10.3  PAGING           MEMORY
en0       7.3     17.5    59.6     2.6     4.6  Faults      264  Real,MB   11711
                                                Steals      583  % Comp     63.0
Disk    Busy%     KBPS     TPS KB-Read KB-Writ  PgspIn      126  % Noncomp  37.9
hdisk1  100.2   1189.0   220.6   242.6   946.4  PgspOut     344  % Client   37.9
hdisk0   98.7   1221.1   208.0   264.7   956.4  PageIn      836
hdisk2   18.5   1030.6   153.4   577.4   453.1  PageOut     463  PAGING SPACE
hdisk3    3.5   2271.7    11.5  2271.7     0.0  Sios       1304  Size,MB   12800
dac1-utm  0.0      0.0     0.0     0.0     0.0                   % Used     53.0
dac0      0.0   3310.3   166.9  2849.1   461.2  NFS (calls/sec)  % Free     46.9
dac1      0.0      0.0     0.0     0.0     0.0  ServerV2       0
dac0-utm  0.0      0.0     0.0     0.0     0.0  ClientV2       0   Press:
hdisk4    0.0      0.0     0.0     0.0     0.0  ServerV3       0   "h" for help
cd0       0.0      0.0     0.0     0.0     0.0  ClientV3       0   "q" to quit
hdisk5    0.0      8.0     2.0     0.0     8.0
hdisk6    0.0      0.0     0.0     0.0     0.0
hdisk7    0.0      0.0     0.0     0.0     0.0

Name            PID  CPU%  PgSp Owner
NmsServe    8278348   1.8 1170.9 root
oracle      2019394   1.4   4.4 oracle
oracle      3051712   0.7   4.2 oracle
java        7200784   0.5 236.1 root  
oracle      5836886   0.5   4.3 oracle
java        4706358   0.3 121.5 root  
oracle      8216876   0.3   4.9 oracle
oracle      8057186   0.3   4.3 oracle
oracle      1708052   0.3   4.4 oracle
topas       4821094   0.2   3.5 root  
topas       5857396   0.2   2.1 root  
oracle      5849172   0.2   4.2 oracle
oracle      8290718   0.1  15.7 oracle
oracle      1167380   0.1   4.8 oracle

meilixueshan

hdisk0/1太忙了，是不是把数据库的什么东西放在这两个上了

肚皮

vmo

舒风星

换页较严重，导致HDISK0,1很繁忙。MAXPERM,MINPERM的值调整了么？

doudalun

调整一下lru_file_repage和v_pinshm看看

舒风星

ls这两个值是干啥用的？

doudalun

5.2和5.3中用lru_file_repage的方式来简化或者说是替代maxperm/minperm的调整
v_pinshm是用于oracle内存的管理
具体不是两句话说得清的，搜搜资料吧

jtw

NmsServe是个什么进程，那么耗PageSpace空间

zzs1978

NmsServe是主应用，启了一个java虚拟机，我们试过将应用停掉，内存还是很快耗干，分析应该是oracle数据库占内存过多，数据库是9206版本的，是不是有什么BUG

zzs1978

vmo -a
        cpu_scale_memp = 8
data_stagger_interval = 161
                 defps = 1
   force_relalias_lite = 0
             framesets = 2
             htabscale = n/a
     kernel_heap_psize = 4096
  large_page_heap_size = 0
          lgpg_regions = 0
             lgpg_size = 0
       low_ps_handling = 1
       lru_file_repage = 1
     lru_poll_interval = 10
             lrubucket = 131072
            maxclient% = 80
               maxfree = 1088
               maxperm = 2302201
              maxperm% = 80
                maxpin = 2422022
               maxpin% = 80
       mbuf_heap_psize = 4096
       memory_affinity = 1
         memory_frames = 2998271
         memplace_data = 2
  memplace_mapped_file = 2
memplace_shm_anonymous = 2
    memplace_shm_named = 2
        memplace_stack = 2
         memplace_text = 2
memplace_unmapped_file = 2
              mempools = 2
               minfree = 960
               minperm = 575550
              minperm% = 20
             nokilluid = 0
               npskill = 25600
             npsrpgmax = 204800
             npsrpgmin = 153600
           npsscrubmax = 204800
           npsscrubmin = 153600
               npswarn = 102400
      num_spec_dataseg = 0
             numpsblks = 3276800
     page_steal_method = 0
          pagecoloring = n/a
       pinnable_frames = 2748021
pta_balance_threshold = n/a
   relalias_percentage = 0
              rpgclean = 0
            rpgcontrol = 2
                 scrub = 0
            scrubclean = 0
soft_min_lgpgs_vmpool = 0
      spec_dataseg_int = 512
      strict_maxclient = 1
        strict_maxperm = 0
              v_pinshm = 0
  vm_modlist_threshold = -1
       vmm_fork_policy = 1
    vmm_mpsize_support = 1