<解决中><请教>disk busy 100% 解决及调优

vanvesee

Topas Monitor for host:    mServer1             EVENTS/QUEUES    FILE/TTY\r\nFri Oct 31 11:58:25 2008   Interval:  2         Cswitch   12600  Readch    0.0G\r\n                                                Syscall   25142  Writech   0.0G\r\nKernel   25.1   |########                    |  Reads      3604  Rawin         0\r\nUser     22.8   |#######                     |  Writes     3373  Ttyout      518\r\nWait     41.4   |############                |  Forks         0  Igets         0\r\nIdle     10.7   |####                        |  Execs         0  Namei       402\r\n                                                Runqueue    4.5  Dirblk        0\r\nNetwork  KBPS   I-Pack  O-Pack   KB-In  KB-Out  Waitqueue   5.5\r\nen0    2174.4   1045.8   430.3    59.2  2115.2\r\nen3      19.8    167.2     0.0    19.8     0.0  PAGING           MEMORY\r\nlo0       0.0      0.0     0.0     0.0     0.0  Faults      468  Real,MB   23808\r\n                                                Steals        0  % Comp     41.0\r\nDisk    Busy%     KBPS     TPS KB-Read KB-Writ  PgspIn        0  % Noncomp  59.7\r\nhdisk5   99.5   4741.8   140.3   545.3  4196.5  PgspOut       0  % Client   59.6\r\nhdisk9   99.0   4554.2   142.3   604.5  3949.8  PageIn      888\r\nhdisk8   98.0   4475.6   134.3   603.5  3872.1  PageOut    5768  PAGING SPACE\r\nhdisk4   97.5   4279.1   134.3   515.4  3763.7  Sios       6446  Size,MB   20480\r\nhdisk7   96.5   4357.7   132.3   554.7  3803.0                   % Used      0.6\r\nhdisk6   92.5   3991.5   130.8   551.2  3440.3  NFS (calls/sec)  % Free     99.3\r\ndac0      0.0      0.0     0.0     0.0     0.0  ServerV2       0\r\ndac1      0.0    25.8K   814.4  3374.6   22.5K  ClientV2       0   Press:\r\nhdisk2    0.0      0.0     0.0     0.0     0.0  ServerV3       0   \"h\" for help\r\nhdisk3    0.0      0.0     0.0     0.0     0.0  ClientV3       0   \"q\" to quit\r\ncd0       0.0      0.0     0.0     0.0     0.0\r\nhdisk0    0.0      0.0     0.0     0.0     0.0\r\nhdisk1    0.0      2.0     0.5     2.0     0.0\r\n\r\nName            PID  CPU%  PgSp Owner\r\npop3         528574  20.7  72.4 notes1\r\npop3         397410  13.3  76.8 notes3\r\npop3         442812   3.6  66.4 notes2\r\nmtc          328180   1.5  43.2 notes1\r\nvx_sched      65642   1.3  46.8 root  \r\nserver       430346   1.1  44.8 notes2\r\nhttp         385148   1.0 137.5 notes1\r\nhttp         545032   0.9 118.0 notes3\r\nsmtp         393698   0.2  46.9 notes2\r\nvxiod         61814   0.2   1.4 root  \r\nhttp         438500   0.2  97.1 notes2\r\nserver       442406   0.1  45.4 notes1\r\ntopas        405686   0.1   1.6 root  \r\nevent        401452   0.1  34.7 notes3\r\nserver        57732   0.1  42.5 notes3\r\nevent        561174   0.1  34.8 notes1\r\nevent        549042   0.1  34.7 notes2\n\n[ 本帖最后由 vanvesee 于 2008-12-21 11:09 编辑 ]

vanvesee

mServer1/#vmstat\r\n\r\nSystem configuration: lcpu=8 mem=23808MB\r\n\r\nkthr    memory              page              faults        cpu    \r\n----- ----------- ------------------------ ------------ -----------\r\n r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa\r\n 3 11 2462552 28028   0   0   0 158  475   0 1005 18888 14441 15 14 41 30

vanvesee

mServer1/#lsps -a\r\nPage Space      Physical Volume   Volume Group    Size %Used Active  Auto  Type\r\npaging00        hdisk0            rootvg       10240MB     1   yes   yes    lv\r\nhd6             hdisk1            rootvg       10240MB     1   yes   yes    lv\r\n\r\n还需要什么参数 ，我尽量贴出来，哪位帮忙分析下。。

vanvesee

mServer1/#vmstat 2 10\r\n\r\nSystem configuration: lcpu=8 mem=23808MB\r\n\r\nkthr    memory              page              faults        cpu    \r\n----- ----------- ------------------------ ------------ -----------\r\n r  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa\r\n 9  7 2462494  5197   0   0   0 3147 7339   0 1814 47667 9818 40 52  2  6\r\n 9  8 2462532 24522   0   0   0 4689 11474   0 1855 41087 12241 35 46  2 17\r\n 5 12 2462582  5399   0   0   0   0    0   0 1347 31271 11430 23 36  4 37\r\n 4 10 2462610  6840   0   0   0 1612 3981   0 1728 39396 10761 31 49  3 17\r\n 6  6 2462645 39296   0   0   0 7803 19333   0 1990 42204 11726 27 51  3 18\r\n 3  8 2462688 22073   0   0   0   0    0   0 1267 29107 11569 29 32  5 34\r\n 5 11 2462704 24454   0   0   0   0    0   0 1276 34165 10369 33 37  2 27\r\n 5 10 2462749 32570   0   0   0   0    0   0 1541 36384 11295 30 42  2 26\r\n 3  7 2462770 23075   0   0   0   0    0   0 854 21648 10511 37 22  5 36\r\n 7  8 2462841 25400   0   0   0   0    0   0 1320 33981 10275 44 37  3 16\r\n\r\n修改过vmo里的参数 修改之后I/O wait 降低了10%  \r\n之前平均在40% ，现在30%左右。

vanvesee

mServer1/#vmo -a\r\n        cpu_scale_memp = 8\r\n data_stagger_interval = 161\r\n                 defps = 1\r\n   force_relalias_lite = 0\r\n             framesets = 2\r\n             htabscale = n/a\r\n     kernel_heap_psize = 4096\r\n          kernel_psize = 16777216\r\n  large_page_heap_size = 0\r\n          lgpg_regions = 0\r\n             lgpg_size = 0\r\n       low_ps_handling = 1\r\n       lru_file_repage = 0\r\n     lru_poll_interval = 10\r\n             lrubucket = 131072\r\n            maxclient% = 90\r\n               maxfree = 1088\r\n               maxperm = 5218377\r\n              maxperm% = 90\r\n                maxpin = 4920239\r\n               maxpin% = 80\r\n       mbuf_heap_psize = 65536\r\n       memory_affinity = 1\r\n         memory_frames = 6094848\r\n         memplace_data = 2\r\n  memplace_mapped_file = 2\r\nmemplace_shm_anonymous = 2\r\n    memplace_shm_named = 2\r\n        memplace_stack = 2\r\n         memplace_text = 2\r\nmemplace_unmapped_file = 2\r\n              mempools = 2\r\n               minfree = 960\r\n               minperm = 289909\r\n              minperm% = 5\r\n             nokilluid = 0\r\n               npskill = 40960\r\n             npsrpgmax = 327680\r\n             npsrpgmin = 245760\r\n           npsscrubmax = 327680\r\n           npsscrubmin = 245760\r\n               npswarn = 163840\r\n      num_spec_dataseg = 0\r\n             numpsblks = 5242880\r\n     page_steal_method = 0\r\n          pagecoloring = n/a\r\n       pinnable_frames = 5501966\r\n pta_balance_threshold = n/a\r\n   relalias_percentage = 0\r\n              rpgclean = 0\r\n            rpgcontrol = 2\r\n                 scrub = 0\r\n            scrubclean = 0\r\n soft_min_lgpgs_vmpool = 0\r\n      spec_dataseg_int = 512\r\n      strict_maxclient = 1\r\n        strict_maxperm = 0\r\n              v_pinshm = 0\r\n  vm_modlist_threshold = -1\r\n       vmm_fork_policy = 1\r\n    vmm_mpsize_support = 1

vanvesee

mServer1/#vmstat -v\r\n              6094848 memory pages\r\n              5798198 lruable pages\r\n                 8005 free pages\r\n                    2 memory pools\r\n               594838 pinned pages\r\n                 80.0 maxpin percentage\r\n                  5.0 minperm percentage\r\n                 90.0 maxperm percentage\r\n                 62.3 numperm percentage\r\n              3615935 file pages\r\n                  0.0 compressed percentage\r\n                    0 compressed pages\r\n                 62.2 numclient percentage\r\n                 90.0 maxclient percentage\r\n              3607795 client pages\r\n                    0 remote pageouts scheduled\r\n                    0 pending disk I/Os blocked with no pbuf\r\n                    0 paging space I/Os blocked with no psbuf\r\n                 2740 filesystem I/Os blocked with no fsbuf\r\n                  200 client filesystem I/Os blocked with no fsbuf\r\n                30215 external pager filesystem I/Os blocked with no fsbuf\r\n                    0 Virtualized Partition Memory Page Faults\r\n                 0.00 Time resolving virtualized partition memory page faults

fck

内核占用25%，io占用40%，其他正常。\r\n考虑增加cpu、\r\n调整存储结构，每秒4.7M,140TPS就100%busy了，还是有些问题。\r\n存储的缓存打开了？

iops

1. 一般disk busy 100 %代表I/O的负载大，造成应用运行缓慢！\r\n2. disk busy 大概持续多久时间，贴出 sar -urd 60 60 / iostat -d 60 60 / vmstat 60 60 \r\n3. 你的存储配置是什么规格？ 数据库是oracle 吗？\r\n4. 评估你的存储实际的负载承受力和应用对I/O的性能需求，才可以找到真正的问题！

rockants

把lru_file_repage = 0改成1试试

rockants

你的是文件型的服务器，没必要把lru_file_repage 设成0