各位兄弟帮我看看系统瓶颈在哪里？

ronton

spook兄 我也知道是系统IO瓶颈。\r\n但处理起来真的很难，一来麻烦，二来心里没底，计划等IBM工程师过来看了在说。\r\n被用友NC搞死！

iops

1. hdisk2 /hdisk3 的负载太大,你的DS4700的配置是什么?\r\n2. 主要是I/O的性能不足,内存的问题不大.\r\n3. 慢的问题是一个趋势造成,你的系统上线使用多久时间了?

ronton

继续 \r\n修改了 lru_file_repage=0    ——>  lru_file_repage=0\r\n\r\nminperm%=3　　　——>  minperm%=5\r\n\r\nmaxclient%=?           ——>  maxclient%=90\r\n\r\nmaxperm%=8           ——>  maxperm%=90\r\n\r\n把paging01从rootvg迁出，系统速度有明显改善，但今天开始又卡的利害。\r\n\r\nio状况\r\ntty:      tin         tout    avg-cpu: % user % sys % idle % iowait\r\n          0.0        1776.6               15.5   2.5   50.1     32.0\r\n\r\nDisks:        % tm_act     Kbps      tps    Kb_read   Kb_wrtn\r\nhdisk0           0.0       0.0       0.0          0         0\r\nhdisk1           0.0       3.2       0.2          0        16\r\ndac1             0.0     1373.3     124.0       6868         0\r\ndac1-utm         0.0       0.0       0.0          0         0\r\ndac0             0.0     23076.6     675.8      22308     93104\r\ndac0-utm         0.0       0.0       0.0          0         0\r\nhdisk2         100.0     23076.6     675.8      22308     93104\r\nhdisk3         100.0     1373.3     124.0       6868         0\r\ncd0              0.0       0.0       0.0          0         0\r\nhdisk5           0.0       0.0       0.0          0         0

冬瓜头

既然用了文件系统，还用了aio，那么用了cio dio了么？ 后端瓶颈，aio再多也是白搭，反而增加io延迟。\r\n看你topas里面第一块盘，io size很小，后端存储设备有什么表现么？贴一下后端存储的数据。 然后iostat －D，lsattr -El hidskx。 另外，thread被block完全是因为io瓶颈，提高主频到10G也没用，加cpu也没用。 vmstat里面wa一列标明io wait。调查此时sql在做什么，为何io size如此小，随机度如何（存储段cache hit调查），如果随机度确实很大，那谁也没治。

spook

其他要用这个表的都跟着在等待，这个情况在老应用升级上来非常明显，因为以前是锁表，现在是锁行……\r\n你看这个 \r\nSystem configuration: lcpu=16 mem=15840MB\r\n\r\nkthr    memory              page              faults        cpu\r\n----- ----------- ------------------------ ------------ -----------\r\nr  b   avm   fre  re  pi  po  fr   sr  cy  in   sy  cs us sy id wa\r\n1 31 3186109  4864   0   0   0 3875 11070   0 1103 8570 3162  8  2 45 45\r\n1 28 3181874  4992   0   0   0 3962 11509   0 1049 7301 2989  5  2 49 44\r\n1 30 3174477 10207   0   0   0 4367 34837   0 1259 9679 3598  9  2 42 47\r\n1 28 3161998  5200   0   0   0 1735 14209   0 1014 8571 2805  6  2 43 49\r\n1 30 3162230  4885   0   0   0 4728 16126   0 946 7775 2776  7  2 42 48\r\n0 33 3162193  4951   0   0   0 5345 16937   0 1016 8721 2667  8  2 44 46\r\n1 30 3162412  4885   0   0   0 5203 17389   0 1116 11452 2961  9  2 42 47\r\n1 31 3163238  5183   0   0   0 6091 51325   0 1171 12981 3149  9  3 41 46\r\n1 32 3163286  4786   0   0   0 4869 15468   0 1077 11616 2978 12  2 41 44\r\n3 30 3163271  4807   0   0   0 3858 16053   0 846 10725 5104 13  3 40 44\r\n\r\n基本上都是1个线程，有可能这么夸张吗？

fck

看看存储的catch打开了没有？

ronton

继续贴上\r\n# iostat -D\r\n\r\nSystem configuration: lcpu=16 drives=11 paths=2 vdisks=0\r\n\r\nhdisk0         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0     38.6      0.0       30.0        8.6\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      1.4      0.3     47.1           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      8.1      0.9    182.6           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.4      0.0     89.3      0.0        0.0        1618\r\nhdisk1         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      1.4K     0.1       57.2        1.3K\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      1.0      0.2    208.7           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.1      3.4      0.8    274.1           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.2      0.0    226.2      0.0        0.0        9333\r\ndac1           xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0    640.9K    22.6      568.2K      72.7K\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                        20.8     11.8      0.1      2.1S          0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         1.8      1.2      0.3      3.3S          0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         1.1      0.0      2.6S     0.0        0.0           0\r\ndac1-utm       xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      0.0      0.0        0.0        0.0\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.0      0.0      0.0      0.0        0.0           0\r\ndac0           xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0    792.2K    23.2      645.5K     146.7K\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                        20.7     12.6      0.1      2.2S          0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         2.5      1.6      0.3      2.9S          0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         1.8      0.0      1.9S     0.0        0.0           0\r\ndac0-utm       xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      0.0      0.0        0.0        0.0\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.0      0.0      0.0      0.0        0.0           0\r\ncd0            xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      0.0      0.0        0.0        0.0\r\nhdisk5         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      0.0      0.0        0.0        0.0\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0     22.5      4.8     56.6           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.0      0.0      0.0      0.0        0.0           0\r\nhdisk2         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         7.4    792.2K    23.2      645.5K     146.7K\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                        20.7     12.6      0.1      2.2S          0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         2.5      1.6      0.3      2.9S          0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         1.8      0.0      1.9S     0.0        0.0    26622384\r\nhdisk3         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         6.8    640.9K    22.6      568.2K      72.7K\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                        20.8     11.8      0.1      2.1S          0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         1.8      1.2      0.3      3.3S          0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         1.1      0.0      2.6S     0.0        0.0    24789662\r\nhdisk4         xfer:  %tm_act      bps      tps      bread      bwrtn\r\n                         0.0      0.0      0.0        0.0        0.0\r\n               read:      rps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              write:      wps  avgserv  minserv  maxserv   timeouts      fails\r\n                         0.0      0.0      0.0      0.0           0          0\r\n              queue:  avgtime  mintime  maxtime  avgwqsz    avgsqsz     sqfull\r\n                         0.0      0.0      0.0      0.0        0.0           0\r\n--------------------------------------------------------------------------------\r\n#\r\n\r\n\r\n# lsdev -C |grep hdisk\r\nhdisk0     Available 03-08-00-4,0  16 Bit LVD SCSI Disk Drive\r\nhdisk1     Available 0A-08-00-4,0  16 Bit LVD SCSI Disk Drive\r\nhdisk2     Available 0C-08-02      1814     DS4700 Disk Array Device\r\nhdisk3     Available 0C-08-02      1814     DS4700 Disk Array Device\r\nhdisk4     Available 0C-08-02      1814     DS4700 Disk Array Device\r\nhdisk5     Available 0C-08-02      1814     DS4700 Disk Array Device

fck

用lsattr可能不准，最好用ibm的存储软件登陆到ds4700上面，\r\n看看write cache的配置。地址默认是192.168.128.101\r\n另外 errpt看看。

ronton

# errpt |grep hdisk\r\nC86ACB7E   1222173708 I H hdisk5         ARRAY CONFIGURATION CHANGED\r\nB9735AF4   0724151208 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0715111908 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522075908 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522075908 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522065008 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522065008 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522044808 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522044808 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522043108 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522043108 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522041308 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522041308 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522035608 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522035608 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522033908 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522033908 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522032108 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522032108 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522030408 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522030408 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522024608 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522024608 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522022908 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522022908 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522021208 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522021208 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522015408 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522015408 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522013708 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522013708 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522011908 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522011908 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522010308 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522010308 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522004608 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522004508 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522002808 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522002808 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522001108 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0522001108 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0521233608 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0521233608 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0521224408 P H hdisk3         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0521224408 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0226134508 P H hdisk2         SUBSYSTEM COMPONENT FAILURE\r\nB9735AF4   0226134208 P H hdisk2         SUBSYSTEM COMPONENT FAILURE