IBM P650A +db2 disk busy 100%的问题请教

bellman

设备配置： IBM P560A ，4C，12GB 内存，DB2数据库，数据文件存储在磁盘阵列上
症状： 数据库使用的磁盘阵列的disk busy 100% (通过topas命令查看)

sar -d
AIX P650A-DB 2 5 0009CB5F4C00    01/03/08

System Configuration: lcpu=4 disk=8

16:12:01     device    %busy    avque    r+w/s   blks/s   avwait   avserv

16:12:03     hdisk0      9      0.0       21       87      0.0      0.0
             hdisk1      0      0.0        0        0      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      373     1787      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     85      6.0      373     1787      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0


16:12:05     hdisk0     10      0.0       14       47      0.0      0.0
             hdisk1      8      0.0       14       45      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      202      830      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     76      3.0      202      830      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0


16:12:07     hdisk0      8      0.0       19       96      0.0      0.0
             hdisk1      7      0.0       18       94      0.0      0.0
               dac2      0      0.0        0        0      0.0      0.0
           dac2-utm      0      0.0        0        0      0.0      0.0
               dac3      0      0.0      365     1560      0.0      0.0
           dac3-utm      0      0.0        0        0      0.0      0.0
             hdisk2     91      1.0      365     1560      0.0      0.0
                cd0      0      0.0        0        0      0.0      0.0

============================================
ps -k
    PID    TTY  TIME CMD
      0      - 190:18 swapper
    516      - 145032:30 wait
    774      - 137632:58 wait
   1032      - 137993:37 wait
   1290      - 135015:43 wait
   1548      -  0:00 wait
   1806      -  0:00 wait
   2064      -  0:00 wait
   2322      -  0:00 wait
   2580      - 10:12 reaper
   2838      - 87:37 lrud
   3096      -  6:39 xmfreed
   3354      -  0:47 pilegc
   3612      - 62:40 xmgc
   3870      -  2:09 netm
   4128      - 379:16 gil
   4386      -  0:00 wlmsched
   5426      -  0:00 lvmbb
   5696      -  0:00 kbiod
   6486      -  0:00 jfsz
   7242      -  0:00 dog
   8518      -  0:00 usbCfgDev
   8784      -  4:33 rt-fcparray
  10584      -  2:24 aioserver
  10848      -  0:00 AtapeManager
  11642      -  0:00 random
  12166      -  2:32 j2pg
  12390      -  0:00 rtcmd
  22128      - 28:54 rpc.lockd
  36824      -  2:35 aioserver
  38038      -  2:20 aioserver
  40194      -  2:30 aioserver
  40850      -  2:42 aioserver
  42198      -  2:26 aioserver
  46996      -  2:24 aioserver
  51442      -  2:35 aioserver
  53182      -  2:22 aioserver
  58842      -  2:30 aioserver
  59160      -  2:31 aioserver
  59996      -  2:21 aioserver
  60166      -  2:38 aioserver
  69960      -  2:34 aioserver
  82662      -  2:26 aioserver
  83378      -  2:34 aioserver
  83484      -  2:39 aioserver
  83976      -  2:39 aioserver
  84470      -  2:29 aioserver
  85468      -  2:32 aioserver
  85830      -  2:28 aioserver
  86658      -  2:36 aioserver
  87476      -  2:31 aioserver
  90250      -  2:33 aioserver
  91754      -  2:22 aioserver
  91950      -  2:36 aioserver
  93562      -  2:30 aioserver
  93906      -  2:22 aioserver
  95128      -  2:35 aioserver
  95412      -  2:35 aioserver
  95732      -  2:25 aioserver
  96128      -  2:31 aioserver
  96872      -  2:27 aioserver
  97198      -  2:28 aioserver
  97516      -  2:23 aioserver
  98846      -  2:37 aioserver
  99256      -  2:33 aioserver
100072      -  2:25 aioserver
101270      -  2:28 aioserver
101770      -  2:34 aioserver
======================
lsdev
L2cache0     Available               L2 Cache
aio0         Available               Asynchronous I/O (Legacy)
app          Defined                 Logical volume
cd0          Available 1Z-08-00-1,0  16 Bit LVD SCSI DVD-ROM Drive
dac2         Available 2R-08-01      1722-600 (600) Disk Array Controller
dac3         Available 2U-08-01      1722-600 (600) Disk Array Controller
dar2         Available               1722-600 (600) Disk Array Router
dlc8023      Available               IEEE Ethernet (802.3) Data Link Control
dlcether     Available               Standard Ethernet Data Link Control
dlcfddi      Available               FDDI Data Link Control
dlcqllc      Available               X.25 QLLC Data Link Control
dlcsdlc      Available               SDLC Data Link Control
dlctoken     Available               Token-Ring Data Link Control
en0          Available 1j-08         Standard Ethernet Network Interface
en1          Available 1D-08         Standard Ethernet Network Interface
en2          Defined   1c-08         Standard Ethernet Network Interface
ent0         Available 1j-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
ent1         Available 1D-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
ent2         Available 1c-08         10/100 Mbps Ethernet PCI Adapter II (1410ff01)
et0          Defined   1j-08         IEEE 802.3 Ethernet Network Interface
et1          Defined   1D-08         IEEE 802.3 Ethernet Network Interface
et2          Defined   1c-08         IEEE 802.3 Ethernet Network Interface
et3          Defined   1v-08         IEEE 802.3 Ethernet Network Interface
et4          Defined   25-08         IEEE 802.3 Ethernet Network Interface
fcnet0       Defined   2R-08-02      Fibre Channel Network Protocol Device
fcnet1       Defined   2U-08-02      Fibre Channel Network Protocol Device
fcnet2       Defined   2a-08-02      Fibre Channel Network Protocol Device
fcs0         Available 2R-08         FC Adapter
fcs1         Available 2U-08         FC Adapter
fcs2         Available 2a-08         FC Adapter
fd0          Available 01-D1-00-00   Diskette Drive
fda0         Available 01-D1         Standard I/O Diskette Adapter
flowtemplv01 Defined                 Logical volume
fscsi0       Available 2R-08-01      FC SCSI I/O Controller Protocol Device
fscsi1       Available 2U-08-01      FC SCSI I/O Controller Protocol Device
fscsi2       Available 2a-08-01      FC SCSI I/O Controller Protocol Device
fslv00       Defined                 Logical volume
fslv01       Defined                 Logical volume
gxme0        Available               Graphics Data Transfer Assist Subsystem
hd1          Defined                 Logical volume
hd2          Defined                 Logical volume
hd3          Defined                 Logical volume
hd4          Defined                 Logical volume
hd5          Defined                 Logical volume
hd6          Defined                 Logical volume
hd8          Defined                 Logical volume
hd10opt      Defined                 Logical volume
hd9var       Defined                 Logical volume
hdisk0       Available 1Z-08-00-8,0  16 Bit LVD SCSI Disk Drive
hdisk1       Available 1Z-08-00-9,0  16 Bit LVD SCSI Disk Drive
hdisk2       Available 2U-08-01      1722-600 (600) Disk Array Device
indexlv      Defined                 Logical volume
inet0        Available               Internet Network Extension
instance     Defined                 Logical volume
isa0         Available 1G-18         ISA Bus
kbd0         Available 01-K1-00-00   PS/2 keyboard
lai0         Available 1p-00         GXT135P Graphics Adapter
lft0         Available               Low Function Terminal Subsystem
lg_dumplv    Defined                 Logical volume
lo0          Available               Loopback Network Interface
loglv00      Defined                 Logical volume
loglv01      Defined                 Logical volume
logspacelv   Defined                 Logical volume
lvdd         Available               LVM Device Driver
mem0         Available               Memory
mouse0       Available 01-K1-01-00   3 button mouse
nsmb0        Available               N/A
ohcd0        Available 1A-08         USB Host Controller (c111035
ohcd1        Available 1A-09         USB Host Controller (c111035
ohcd2        Available 1A-0a         USB Host Controller (c111035
ohcd3        Available 1A-0b         USB Host Controller (c111035
ovpass0      Available 2a-08-01      VERITAS Media Changer
pci0         Available               PCI Bus
pci1         Available               PCI Bus
pci2         Available               PCI Bus
pci3         Available               PCI Bus
pci4         Available               PCI Bus
pci5         Available 1Y-10         PCI Bus
pci6         Available 1Y-12         PCI Bus
pci7         Available 1Y-13         PCI Bus
pci8         Available 1Y-14         PCI Bus
pci9         Available 1Y-16         PCI Bus
pci10        Available 1n-08         PCI Bus
pci11        Available 10-10         PCI Bus
pci12        Available 10-12         PCI Bus
pci13        Available 10-14         PCI Bus
pci14        Available 10-16         PCI Bus
pci15        Available 2Q-10         PCI Bus
pci16        Available 2Q-12         PCI Bus
pci17        Available 2Q-14         PCI Bus
pci18        Defined   2Q-16         PCI Bus
pci19        Defined   1r-10         PCI Bus
pci20        Defined   1r-12         PCI Bus
pci21        Defined   1r-16         PCI Bus
posix_aio0   Defined                 Posix Asynchronous I/O
proc0        Available 00-00         Processor
proc1        Available 00-01         Processor
proc2        Available 00-02         Processor
proc3        Available 00-03         Processor
proc4        Defined   00-04         Processor
proc5        Defined   00-05         Processor
proc6        Defined   00-06         Processor
proc7        Defined   00-07         Processor
pty0         Available               Asynchronous Pseudo-Terminal
rcm0         Available               Rendering Context Manager Subsystem
rmt0         Available 1Z-08-00-0,0  Differential SCSI 4mm Tape Drive
rmt1         Available 2a-08-01      LTO Ultrium Tape Drive (FCP)
rmt2         Available 2a-08-01      LTO Ultrium Tape Drive (FCP)
rootvg       Defined                 Volume group
sa0          Available 01-S1         Standard I/O Serial Port
sa1          Available 01-S2         Standard I/O Serial Port
sa2          Available 01-S3         Standard I/O Serial Port
sa3          Available 01-S4         Standard I/O Serial Port
sa4          Available 14-08         IBM 8-Port EIA-232/RS-422A (PCI) Adapter
sa5          Available               LPAR Virtual Serial Adapter
scsi0        Available 1Z-08         Wide/Ultra-3 SCSI I/O Controller
scsi1        Available 1Z-09         Wide/Ultra-3 SCSI I/O Controller
scsi2        Defined   2d-08-00      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi3        Defined   2d-08-01      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi4        Defined   1s-08-00      PCI-X Dual Channel Ultra320 SCSI Adapter bus
scsi5        Defined   1s-08-01      PCI-X Dual Channel Ultra320 SCSI Adapter bus
ses0         Available 1Z-08-00-14,0 SCSI Enclosure Services Device
ses1         Available 1Z-08-00-15,0 SCSI Enclosure Services Device
ses2         Defined   2d-08-00-15,0 SCSI Enclosure Services Device
ses3         Defined   1s-08-00-15,0 SCSI Enclosure Services Device
sharevg      Defined                 Volume group
sioka0       Available 01-K1-00      Keyboard Adapter
siokma0      Available 01-K1         Keyboard/Mouse Adapter
sioma0       Available 01-K1-01      Mouse Adapter
sisscsia0    Defined   2d-08         PCI-X Dual Channel Ultra320 SCSI Adapter
sisscsia1    Defined   1s-08         PCI-X Dual Channel Ultra320 SCSI Adapter
sys0         Available               System Object
sysplanar0   Available               System Planar
tbs01lv      Defined                 Logical volume
tbs02lv      Defined                 Logical volume
tbs03lv      Defined                 Logical volume
tbs04lv      Defined                 Logical volume
tbspace      Defined                 Logical volume
tmpspacelv   Defined                 Logical volume
tty0         Available               Asynchronous Terminal
tty1         Available 14-08-01-00   Asynchronous Terminal
usbpd0       Available               USB system software

其他输出见附件

zhong0912

page out比较高，而且swap空间使用了17%，你的物理内存不足，看看是否是缓冲池分配的空间太多了
还有内核参数是否调整过？

你的swap是不是建立在hdisk2上了？建议换个硬盘
另外磁盘阵列有多少硬盘，怎么做的raid，hdisk2对应的lun占了多少硬盘？

zhong0912

看看这三个内核参数的值现在是多少？
max_perm max_client min_perm


如果不是系统的问题，再从db2优化下手

jansonwang

你看看是否是db2ckpwd这个进程在搞怪？我以前遇到过这种问题，测试硬盘也是没问题，但是就是硬盘的IO很高。 DB2for AIX有一个补丁专门解决此问题或者把DB2CKPWD这个进程的参数调整一下。

whiterain

你看看是否是db2ckpwd这个进程在搞怪？我以前遇到过这种问题，测试硬盘也是没问题，但是就是硬盘的IO很高。 DB2for AIX有一个补丁专门解决此问题或者把DB2CKPWD这个进程的参数调整一下。
ibm website have address of this defect?? can you tell me

bellman

to zhong0912 :
  page out 经常变动,高的时候100多,低的时候为个位数,也有为0的时候.(连续观察)
  内存12GB应该够用的了吧? 毕竟只有90GB左右的数据. 数据库应该讲不是很大.
  你所说的内核参数是什么?  paging LV在rootvg上(hdisk1和hdisk2,RAID 1),Hdisk2上没有
swap
  Hdisk2为磁盘阵列,做的RAID5, 约600GB.
  maxperm maxclient 和 minperm这几个参数为默认值 80和20

to jansonwang   :
   ps -ef 确实有b2ckpwd这个进程,但是不多,只有3\4个左右. 如何判定问题是由这个进程造成的呢?

mymm

没仔细看，但看得出您的存储使用规划得不好!

两个FC通道的数据竟然差这么大！

该把几个容器分布到尽量多的盘上！

磁盘太少了，加磁盘吧！

俺刚订的DS4300，不求大容量，但求数量多！呵呵 ！

jansonwang

原帖由 bellman 于 2008-1-10 17:03 发表
to zhong0912 :
  page out 经常变动,高的时候100多,低的时候为个位数,也有为0的时候.(连续观察)
  内存12GB应该够用的了吧? 毕竟只有90GB左右的数据. 数据库应该讲不是很大.
  你所说的内核参数是什么?   ...

你看一下db2diag.log 有没有关于db2ckpwd这个进程报的错。

jansonwang

原帖由 whiterain 于 2008-1-10 06:48 发表
你看看是否是db2ckpwd这个进程在搞怪？我以前遇到过这种问题，测试硬盘也是没问题，但是就是硬盘的IO很高。 DB2for AIX有一个补丁专门解决此问题或者把DB2CKPWD这个进程的参数调整一下。
ibm website have add ...

呵呵 说得不严格 应该是有一个有关于db2ckpwd的补丁说明。
direct找不到了，费时间。记录有如下：
AIX 5.3 APARs for DB2 fixed after Maintenance Level 4
APAR#        AIX APAR Description
IY78341        MULTIPLE MEMORY LEAKS IN SECURITY APIS CAUSES DB2 CRASH
IY78499        USLA UUNLOAD MUST ACCOUNT FOR FINI ROUTINES' EFFECT ON LOADLIST
IY83580        64-BIT RTL ENABLED APPLICATIONS FAIL WITH ERROR 0509-036
IY75147        SIGNALS NOT PROPERLY MASKED AROUND EXEC CALLS TO NFS FILES
IY84813        MEMORY LEAK IN GETPWNAM_R DUE TO ENDNETGRENT
IY86265        DUPLICATE ENTRIES CAN BE CREATED IN A SECURITY STANZA FILE
IY86266        MEMORY LEAK EXHIBITED BY BASE SECURITY ROUTINES IN AIX R5.3 TL04
IY89861        LOGINRESTRICTIONS DOES NOT RETURN CORRECT ERRNO

IY90020        PASSWDEXPIRED LEAKS MEMORY IF USER PASSWORD IS NOT SET

IY89429        AIX STOPS RESPONDING TO KEEPALIVES

IY93594        MSYNC WITH MS_INVALIDATE MAY RETURN EBUSY

TL04 + Service Pack 2
•        64-bit AIX kernel is recommended
•        DB2 UDB Version 8.1 FixPak 4 and higher requires a minimum C++ runtime level of xlC.rte 6.0.0.0 and xlC.aix50.rte 6.0.0.5
•        Due to AIX APARs IY84813, IY86266, IY90020, and IY86265, it is recommended to disable DB2's password daemons by issuing the command db2set DB2_NUM_CKPW_DAEMONS=0 and recycling the instance. See the documented issue "DB2 password checking daemons are vulnerable to various AIX authentication APARs". Alternatively, upgrade to the TL04 Concluding Service Pack and apply the AIX ifix IY86266_44.epkg.Z , which contains the fixes for these APARs.
•        If upgrading to TL05, it is recommended to apply a minimum of Service Pack 3 which includes APAR IY89429 and several AIX authentication APAR fixes. With this service level, the workaround of issuing the command db2set DB2_NUM_CKPW_DAEMONS=0 is no longer necessary and can be removed with db2set DB2_NUM_CKPW_DAEMONS=""
•        AIX ifixes are available from

[ 本帖最后由 jansonwang 于 2008-1-14 10:10 编辑 ]

zhong0912

12G内存，但是你看看物理内存可用多少，估计几百m，page out的话就说明你的物理内存不足，数据需要交换到swap空间上，而你的swap又在hdisk2上，会占比较大的IO

select * from syscat.bufferpools,看看你的bufferpools总共分配了多少，然后建议适当调低三个内核参数，因为默认的文件系统缓冲有点大，建议为50-10,or 30 -10

数据库的fixpak建议打到最新