<解决中><请教>disk busy 100% 解决及调优

vanvesee

Topas Monitor for host:    mServer1             EVENTS/QUEUES    FILE/TTY
Fri Oct 31 11:58:25 2008   Interval:  2         Cswitch   12600  Readch    0.0G
                                                Syscall   25142  Writech   0.0G
Kernel   25.1   |########                    |  Reads      3604  Rawin         0
User     22.8   |#######                     |  Writes     3373  Ttyout      518
Wait     41.4   |############                |  Forks         0  Igets         0
Idle     10.7   |####                        |  Execs         0  Namei       402
                                                Runqueue    4.5  Dirblk        0
Network  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue   5.5
en0    2174.4   1045.8   430.3    59.2  2115.2
en3      19.8    167.2     0.0    19.8     0.0  PAGING           MEMORY
lo0       0.0      0.0     0.0     0.0     0.0  Faults      468  Real,MB   23808
                                                Steals        0  % Comp     41.0
Disk    Busy%     KBPS     TPS KB-Read KB-Writ  PgspIn        0  % Noncomp  59.7
hdisk5   99.5   4741.8   140.3   545.3  4196.5  PgspOut       0  % Client   59.6
hdisk9   99.0   4554.2   142.3   604.5  3949.8  PageIn      888
hdisk8   98.0   4475.6   134.3   603.5  3872.1  PageOut    5768  PAGING SPACE
hdisk4   97.5   4279.1   134.3   515.4  3763.7  Sios       6446  Size,MB   20480
hdisk7   96.5   4357.7   132.3   554.7  3803.0                   % Used      0.6
hdisk6   92.5   3991.5   130.8   551.2  3440.3  NFS (calls/sec)  % Free     99.3
dac0      0.0      0.0     0.0     0.0     0.0  ServerV2       0
dac1      0.0    25.8K   814.4  3374.6   22.5K  ClientV2       0   Press:
hdisk2    0.0      0.0     0.0     0.0     0.0  ServerV3       0   "h" for help
hdisk3    0.0      0.0     0.0     0.0     0.0  ClientV3       0   "q" to quit
cd0       0.0      0.0     0.0     0.0     0.0
hdisk0    0.0      0.0     0.0     0.0     0.0
hdisk1    0.0      2.0     0.5     2.0     0.0

Name            PID  CPU%  PgSp Owner
pop3         528574  20.7  72.4 notes1
pop3         397410  13.3  76.8 notes3
pop3         442812   3.6  66.4 notes2
mtc          328180   1.5  43.2 notes1
vx_sched      65642   1.3  46.8 root  
server       430346   1.1  44.8 notes2
http         385148   1.0 137.5 notes1
http         545032   0.9 118.0 notes3
smtp         393698   0.2  46.9 notes2
vxiod         61814   0.2   1.4 root  
http         438500   0.2  97.1 notes2
server       442406   0.1  45.4 notes1
topas        405686   0.1   1.6 root  
event        401452   0.1  34.7 notes3
server        57732   0.1  42.5 notes3
event        561174   0.1  34.8 notes1
event        549042   0.1  34.7 notes2

[ 本帖最后由 vanvesee 于 2008-12-21 11:09 编辑 ]

vanvesee

mServer1/#vmstat

System configuration: lcpu=8 mem=23808MB

kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
3 11 2462552 28028   0   0   0 158  475   0 1005 18888 14441 15 14 41 30

vanvesee

mServer1/#lsps -a
Page Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type
paging00        hdisk0            rootvg       10240MB     1   yes   yes    lv
hd6             hdisk1            rootvg       10240MB     1   yes   yes    lv

还需要什么参数 ，我尽量贴出来，哪位帮忙分析下。。

vanvesee

mServer1/#vmstat 2 10

System configuration: lcpu=8 mem=23808MB

kthr    memory              page              faults        cpu   
----- ----------- ------------------------ ------------ -----------
r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa
9  7 2462494  5197   0   0   0 3147 7339   0 1814 47667 9818 40 52  2  6
9  8 2462532 24522   0   0   0 4689 11474   0 1855 41087 12241 35 46  2 17
5 12 2462582  5399   0   0   0   0    0   0 1347 31271 11430 23 36  4 37
4 10 2462610  6840   0   0   0 1612 3981   0 1728 39396 10761 31 49  3 17
6  6 2462645 39296   0   0   0 7803 19333   0 1990 42204 11726 27 51  3 18
3  8 2462688 22073   0   0   0   0    0   0 1267 29107 11569 29 32  5 34
5 11 2462704 24454   0   0   0   0    0   0 1276 34165 10369 33 37  2 27
5 10 2462749 32570   0   0   0   0    0   0 1541 36384 11295 30 42  2 26
3  7 2462770 23075   0   0   0   0    0   0 854 21648 10511 37 22  5 36
7  8 2462841 25400   0   0   0   0    0   0 1320 33981 10275 44 37  3 16

修改过vmo里的参数 修改之后I/O wait 降低了10%  
之前平均在40% ，现在30%左右。

vanvesee

mServer1/#vmo -a
        cpu_scale_memp = 8
data_stagger_interval = 161
                 defps = 1
   force_relalias_lite = 0
             framesets = 2
             htabscale = n/a
     kernel_heap_psize = 4096
          kernel_psize = 16777216
  large_page_heap_size = 0
          lgpg_regions = 0
             lgpg_size = 0
       low_ps_handling = 1
       lru_file_repage = 0
     lru_poll_interval = 10
             lrubucket = 131072
            maxclient% = 90
               maxfree = 1088
               maxperm = 5218377
              maxperm% = 90
                maxpin = 4920239
               maxpin% = 80
       mbuf_heap_psize = 65536
       memory_affinity = 1
         memory_frames = 6094848
         memplace_data = 2
  memplace_mapped_file = 2
memplace_shm_anonymous = 2
    memplace_shm_named = 2
        memplace_stack = 2
         memplace_text = 2
memplace_unmapped_file = 2
              mempools = 2
               minfree = 960
               minperm = 289909
              minperm% = 5
             nokilluid = 0
               npskill = 40960
             npsrpgmax = 327680
             npsrpgmin = 245760
           npsscrubmax = 327680
           npsscrubmin = 245760
               npswarn = 163840
      num_spec_dataseg = 0
             numpsblks = 5242880
     page_steal_method = 0
          pagecoloring = n/a
       pinnable_frames = 5501966
pta_balance_threshold = n/a
   relalias_percentage = 0
              rpgclean = 0
            rpgcontrol = 2
                 scrub = 0
            scrubclean = 0
soft_min_lgpgs_vmpool = 0
      spec_dataseg_int = 512
      strict_maxclient = 1
        strict_maxperm = 0
              v_pinshm = 0
  vm_modlist_threshold = -1
       vmm_fork_policy = 1
    vmm_mpsize_support = 1

vanvesee

mServer1/#vmstat -v
              6094848 memory pages
              5798198 lruable pages
                 8005 free pages
                    2 memory pools
               594838 pinned pages
                 80.0 maxpin percentage
                  5.0 minperm percentage
                 90.0 maxperm percentage
                 62.3 numperm percentage
              3615935 file pages
                  0.0 compressed percentage
                    0 compressed pages
                 62.2 numclient percentage
                 90.0 maxclient percentage
              3607795 client pages
                    0 remote pageouts scheduled
                    0 pending disk I/Os blocked with no pbuf
                    0 paging space I/Os blocked with no psbuf
                 2740 filesystem I/Os blocked with no fsbuf
                  200 client filesystem I/Os blocked with no fsbuf
                30215 external pager filesystem I/Os blocked with no fsbuf
                    0 Virtualized Partition Memory Page Faults
                 0.00 Time resolving virtualized partition memory page faults

tyrone.dev

你在线用户数很多吗?

fck

内核占用25%，io占用40%，其他正常。
考虑增加cpu、
调整存储结构，每秒4.7M,140TPS就100%busy了，还是有些问题。
存储的缓存打开了？

iops

1. 一般disk busy 100 %代表I/O的负载大，造成应用运行缓慢！
2. disk busy 大概持续多久时间，贴出 sar -urd 60 60 / iostat -d 60 60 / vmstat 60 60
3. 你的存储配置是什么规格？ 数据库是oracle 吗？
4. 评估你的存储实际的负载承受力和应用对I/O的性能需求，才可以找到真正的问题！

rockants

把lru_file_repage = 0改成1试试