IBM P650A +db2 disk busy 100%的问题请教

bellman

设备配置： IBM P560A ，4C，12GB 内存，DB2数据库，数据文件存储在磁盘阵列上
症状： 数据库使用的磁盘阵列的disk busy 100% (通过topas命令查看)

sar -d
AIX P650A-DB 2 5 0009CB5F4C00    01/03/08

System Configuration: lcpu=4 disk=8

16:12:01     device    %busy    avque    r+w/s   blks/s   avwait   avserv

16:12:03     hdisk0      9      0.0       21       87      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      373     1787      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     85      6.0      373     1787      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0


16:12:05     hdisk0     10      0.0       14       47      0.0      0.0
             hdisk1      8      0.0       14       45      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      202      830      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     76      3.0      202      830      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0


16:12:07     hdisk0      8      0.0       19       96      0.0      0.0
             hdisk1      7      0.0       18       94      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      365     1560      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     91      1.0      365     1560      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0

============================================
ps -k
    PID    TTY  TIME CMD
      0      - 190:18 swapper
    516      - 145032:30 wait
    774      - 137632:58 wait
   1032      - 137993:37 wait
   1290      - 135015:43 wait
   1548      -  0:00 wait
   1806      -  0:00 wait
   2064      -  0:00 wait
   2322      -  0:00 wait
   2580      - 10:12 reaper
   2838      - 87:37 lrud
   3096      -  6:39 xmfreed
   3354      -  0:47 pilegc
   3612      - 62:40 xmgc
   3870      -  2:09 netm
   4128      - 379:16 gil
   4386      -  0:00 wlmsched
   5426      -  0:00 lvmbb
   5696      -  0:00 kbiod
   6486      -  0:00 jfsz
   7242      -  0:00 dog
   8518      -  0:00 usbCfgDev
   8784      -  4:33 rt-fcparray
  10584      -  2:24 aioserver
  10848      -  0:00 AtapeManager
  11642      -  0:00 random
  12166      -  2:32 j2pg
  12390      -  0:00 rtcmd
  22128      - 28:54 rpc.lockd
  36824      -  2:35 aioserver
  38038      -  2:20 aioserver
  40194      -  2:30 aioserver
  40850      -  2:42 aioserver
  42198      -  2:26 aioserver
  46996      -  2:24 aioserver
  51442      -  2:35 aioserver
  53182      -  2:22 aioserver
  58842      -  2:30 aioserver
  59160      -  2:31 aioserver
  59996      -  2:21 aioserver
  60166      -  2:38 aioserver
  69960      -  2:34 aioserver
  82662      -  2:26 aioserver
  83378      -  2:34 aioserver
  83484      -  2:39 aioserver
  83976      -  2:39 aioserver
  84470      -  2:29 aioserver
  85468      -  2:32 aioserver
  85830      -  2:28 aioserver
  86658      -  2:36 aioserver
  87476      -  2:31 aioserver
  90250      -  2:33 aioserver
  91754      -  2:22 aioserver
  91950      -  2:36 aioserver
  93562      -  2:30 aioserver
  93906      -  2:22 aioserver
  95128      -  2:35 aioserver
  95412      -  2:35 aioserver
  95732      -  2:25 aioserver
  96128      -  2:31 aioserver
  96872      -  2:27 aioserver
  97198      -  2:28 aioserver
  97516      -  2:23 aioserver
  98846      -  2:37 aioserver
  99256      -  2:33 aioserver
100072      -  2:25 aioserver
101270      -  2:28 aioserver
101770      -  2:34 aioserver
======================
lsdev
L2cache0     Available               L2 Cache
aio0         Available               Asynchronous I/O (Legacy)
app          Defined                 Logical volume
cd0          Available 1Z-08-00-1,0  16 Bit LVD SCSI DVD-ROM Drive
dac2         Available 2R-08-01      1722-600 (600) Disk Array Controller
dac3         Available 2U-08-01      1722-600 (600) Disk Array Controller
dar2         Available               1722-600 (600) Disk Array Router
dlc8023      Available               IEEE Ethernet (802.3) Data Link Control
dlcether     Available               Standard Ethernet Data Link Control
dlcfddi      Available               FDDI Data Link Control
dlcqllc      Available               X.25 QLLC Data Link Control
dlcsdlc      Available               SDLC Data Link Control
dlctoken     Available               Token-Ring Data Link Control
en0          Available 1j-08         Standard Ethernet Network Interface
en1          Available 1D-08         Standard Ethernet Network Interface
en2          Defined   1c-08         Standard Ethernet Network Interface
ent0         Available 1j-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
ent1         Available 1D-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
ent2         Available 1c-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
et0          Defined   1j-08         IEEE 802.3 Ethernet Network Interface
et1          Defined   1D-08         IEEE 802.3 Ethernet Network Interface
et2          Defined   1c-08         IEEE 802.3 Ethernet Network Interface
et3          Defined   1v-08         IEEE 802.3 Ethernet Network Interface
et4          Defined   25-08         IEEE 802.3 Ethernet Network Interface
fcnet0       Defined   2R-08-02      Fibre Channel Network Protocol Device
fcnet1       Defined   2U-08-02      Fibre Channel Network Protocol Device
fcnet2       Defined   2a-08-02      Fibre Channel Network Protocol Device
fcs0         Available 2R-08         FC Adapter
fcs1         Available 2U-08         FC Adapter
fcs2         Available 2a-08         FC Adapter
fd0          Available 01-D1-00-00   Diskette Drive
fda0         Available 01-D1         Standard I/O Diskette Adapter
flowtemplv01 Defined                 Logical volume
fscsi0       Available 2R-08-01      FC SCSI I/O Controller Protocol Device
fscsi1       Available 2U-08-01      FC SCSI I/O Controller Protocol Device
fscsi2       Available 2a-08-01      FC SCSI I/O Controller Protocol Device
fslv00       Defined                 Logical volume
fslv01       Defined                 Logical volume
gxme0        Available               Graphics Data Transfer Assist Subsystem
hd1          Defined                 Logical volume
hd2          Defined                 Logical volume
hd3          Defined                 Logical volume
hd4          Defined                 Logical volume
hd5          Defined                 Logical volume
hd6          Defined                 Logical volume
hd8          Defined                 Logical volume
hd10opt      Defined                 Logical volume
hd9var       Defined                 Logical volume
hdisk0       Available 1Z-08-00-8,0  16 Bit LVD SCSI Disk Drive
hdisk1       Available 1Z-08-00-9,0  16 Bit LVD SCSI Disk Drive
hdisk2       Available 2U-08-01      1722-600 (600) Disk Array Device
indexlv      Defined                 Logical volume
inet0        Available               Internet Network Extension
instance     Defined                 Logical volume
isa0         Available 1G-18         ISA Bus
kbd0         Available 01-K1-00-00   PS/2 keyboard
lai0         Available 1p-00         GXT135P Graphics Adapter
lft0         Available               Low Function Terminal Subsystem
lg_dumplv    Defined                 Logical volume
lo0          Available               Loopback Network Interface
loglv00      Defined                 Logical volume
loglv01      Defined                 Logical volume
logspacelv   Defined                 Logical volume
lvdd         Available               LVM Device Driver
mem0         Available               Memory
mouse0       Available 01-K1-01-00   3 button mouse
nsmb0        Available               N/A
ohcd0        Available 1A-08         USB Host Controller (c111035
ohcd1        Available 1A-09         USB Host Controller (c111035
ohcd2        Available 1A-0a         USB Host Controller (c111035
ohcd3        Available 1A-0b         USB Host Controller (c111035
ovpass0      Available 2a-08-01      VERITAS Media Changer
pci0         Available               PCI Bus
pci1         Available               PCI Bus
pci2         Available               PCI Bus
pci3         Available               PCI Bus
pci4         Available               PCI Bus
pci5         Available 1Y-10         PCI Bus
pci6         Available 1Y-12         PCI Bus
pci7         Available 1Y-13         PCI Bus
pci8         Available 1Y-14         PCI Bus
pci9         Available 1Y-16         PCI Bus
pci10        Available 1n-08         PCI Bus
pci11        Available 10-10         PCI Bus
pci12        Available 10-12         PCI Bus
pci13        Available 10-14         PCI Bus
pci14        Available 10-16         PCI Bus
pci15        Available 2Q-10         PCI Bus
pci16        Available 2Q-12         PCI Bus
pci17        Available 2Q-14         PCI Bus
pci18        Defined   2Q-16         PCI Bus
pci19        Defined   1r-10         PCI Bus
pci20        Defined   1r-12         PCI Bus
pci21        Defined   1r-16         PCI Bus
posix_aio0   Defined                 Posix Asynchronous I/O
proc0        Available 00-00         Processor
proc1        Available 00-01         Processor
proc2        Available 00-02         Processor
proc3        Available 00-03         Processor
proc4        Defined   00-04         Processor
proc5        Defined   00-05         Processor
proc6        Defined   00-06         Processor
proc7        Defined   00-07         Processor
pty0         Available               Asynchronous Pseudo-Terminal
rcm0         Available               Rendering Context Manager Subsystem
rmt0         Available 1Z-08-00-0,0  Differential SCSI 4mm Tape Drive
rmt1         Available 2a-08-01      LTO Ultrium Tape Drive (FCP)
rmt2         Available 2a-08-01      LTO Ultrium Tape Drive (FCP)
rootvg       Defined                 Volume group
sa0          Available 01-S1         Standard I/O Serial Port
sa1          Available 01-S2         Standard I/O Serial Port
sa2          Available 01-S3         Standard I/O Serial Port
sa3          Available 01-S4         Standard I/O Serial Port
sa4          Available 14-08         IBM 8-Port EIA-232/RS-422A (PCI) Adapter
sa5          Available               LPAR Virtual Serial Adapter
scsi0        Available 1Z-08         Wide/Ultra-3 SCSI I/O Controller
scsi1        Available 1Z-09         Wide/Ultra-3 SCSI I/O Controller
scsi2        Defined   2d-08-00      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi3        Defined   2d-08-01      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi4        Defined   1s-08-00      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi5        Defined   1s-08-01      PCI-X Dual Channel Ultra320 SCSI Adapter bus
ses0         Available 1Z-08-00-14,0 SCSI Enclosure Services Device
ses1         Available 1Z-08-00-15,0 SCSI Enclosure Services Device
ses2         Defined   2d-08-00-15,0 SCSI Enclosure Services Device
ses3         Defined   1s-08-00-15,0 SCSI Enclosure Services Device
sharevg      Defined                 Volume group
sioka0       Available 01-K1-00      Keyboard Adapter
siokma0      Available 01-K1         Keyboard/Mouse Adapter
sioma0       Available 01-K1-01      Mouse Adapter
sisscsia0    Defined   2d-08         PCI-X Dual Channel Ultra320 SCSI Adapter
sisscsia1    Defined   1s-08         PCI-X Dual Channel Ultra320 SCSI Adapter
sys0         Available               System Object
sysplanar0   Available               System Planar
tbs01lv      Defined                 Logical volume
tbs02lv      Defined                 Logical volume
tbs03lv      Defined                 Logical volume
tbs04lv      Defined                 Logical volume
tbspace      Defined                 Logical volume
tmpspacelv   Defined                 Logical volume
tty0         Available               Asynchronous Terminal
tty1         Available 14-08-01-00   Asynchronous Terminal
usbpd0       Available               USB system software

其他输出见附件

bellman

to zhong0912 :
  page out 经常变动,高的时候100多,低的时候为个位数,也有为0的时候.(连续观察)
  内存12GB应该够用的了吧? 毕竟只有90GB左右的数据. 数据库应该讲不是很大.
  你所说的内核参数是什么?  paging LV在rootvg上(hdisk1和hdisk2,RAID 1),Hdisk2上没有
swap
  Hdisk2为磁盘阵列,做的RAID5, 约600GB.
  maxperm maxclient 和 minperm这几个参数为默认值 80和20

to jansonwang   :
   ps -ef 确实有b2ckpwd这个进程,但是不多,只有3\4个左右. 如何判定问题是由这个进程造成的呢?

bellman

谢谢大家的热心支持! 但是问题还没有得到有效解决!
说明以下几点：
1. paging 逻辑卷原来仅有默认安装的hd6，大小为12G（和物理内存一样大），在高峰时期的占用率依旧很小。后在hdisk2（磁盘阵列）上增加了一个相同大小的paging LV，但没有任何效果。在访问高峰期间连续观察，发现paging 分区的使用率很低，上传的那个图中的17%左右的使用率非常罕见。可能是抓图的时候突发的。
2. 大家都关心的buffer pool的问题。根据IBM网站的资料：
http://www.ibm.com/developerwork ... 508chong/index.html

@/app/loan >db2 "select NPAGES,PAGESIZE,BPNAME from syscat.bufferpools"

NPAGES      PAGESIZE    BPNAME
----------- ----------- --------------------------------------------------------
     300000        4096 IBMDEFAULTBP

  1 record(s) selected.

Windows 上 IBMDEFAULTBP 的默认大小是 250 个页面，而在 UNIX? 平台上，它就是 1000 个页面。当 NPAGES 的值为 -1 时，缓冲池大小就是由数据库配置中的 BUFFPAGE 参数确定的。
  
  从上面可以看出，我的bufferpool的大小应该是30000*4K =1.2G ，应该说不能算小了。
（db2 get db cfg for database 命令看到的BUFFPAGE的值为1000，但由于NPAGES不为-1，所以这个参数应该没有起作用）。

3. 磁盘阵列的容量为550GB, 做RAID5. 是前几年购买的，磁盘的个数应该不会低于5块。
    不过我看到数据库的每个tablespace 只有一个container，不过IBM网站的资料说对于磁盘阵列环境可以只划分一个container。不知道是否确切？

4. bufferpool的命中率基本上在97%以上。

5.
  ((异步池数据页读 + 异步池索引页读) / (缓冲池数据逻辑读 + 缓冲池索引逻辑读)) * 100%
  此参数根据计算大约在5%~12%左右，不知道算不算“太小”？
  此原因有三个：
  工作负载读写单行，因此它无法利用预取。 （暂不讨论）
  为数据库配置的预取器太少。 （可能性较大，但不知如何修改此参数）
  数据库中的表空间仅仅配置了一个容器，以致无法进行预取。（目前确实是每个表空间只有一个container，但是磁盘阵列环境建议只用一个container？ ）

6. IO清洗器
  异步页面清洗器的有效性是由异步数据和索引页的写比率进行测量的。如果下列两个条件都成立，那么就可以减少异步页面清洗器的数目（NUM_IOCLEANERS）：
   缓冲池数据写约等于异步池数据页写。
   缓冲池索引写约等于异步池索引页写。
如果下列条件中有一个成立，就应增加该参数：
  缓冲池数据写远远大于异步池数据页写。
  缓冲池索引写远远大于异步池索引页写。

  根据观察的情况，缓冲池数据写约等于异步池数据页写，与 缓冲池索引写约等于异步池索引页写 这两个条件都满足，（IO server =8，IOcleaner =4 ），将IOcleaner 修改为2后系统没有任何改善，并且上述两个条件依旧满足。

bellman

调整过maxperm% maxclient minperm等参数，但没有看到任何实质性效果。

bellman

厂商技术人员认为是磁盘阵列的划分方式不对。
将数据备份后，重新划分磁盘阵列，仍是RAID5，但是划分成多个PV，由AIX将这几个PV组建VG，然后划分LV。恢复数据。

怀疑ing：这样划分与原来磁盘阵列对应一个PV 有什么不同？ RAID5本身就是条带化的。