HPUX运行缓慢

noise

最近系统运行越来越慢，把SAR的结果拿出来，大家帮忙分析分析。

sar -u 5 20

HP-UX        B.11.23 U ia64    08/13/08

09:30:15    %usr    %sys    %wio   %idle
09:30:20      79       8      13       0
09:30:25      74       8      18       0
09:30:30      58       8      34       0
09:30:35      79       9      12       0
09:30:40      69       6      25       0
09:30:45      60       4      36       0
09:30:50      54       5      41       0
09:30:55      55       6      39       0
09:31:00      45       5      50       0
09:31:05      37       5      58       0
09:31:10      69       7      24       0
09:31:15      82       9      10       0
09:31:20      81       9      11       0
09:31:25      71       9      20       0
09:31:30      75       7      17       0
09:31:35      60       8      32       0
09:31:40      78       7      15       0
09:31:45      80       9      11       0
09:31:50      65       6      29       0
09:31:55      68       9      23       0

Average       67       7      26       0


sar -b 5 20

HP-UX                 B.11.23 U ia64    08/13/08

09:38:47 bread/s lread/s %rcache bwrit/s lwrit/s %wcache pread/s pwrit/s
09:38:52    3434    3887      12     428     437       2       0       0
09:38:57    3079    3836      20     463     537      14       0       0
09:39:02    3426    3655       6     415     466      11       0       0
09:39:07    3336    7951      58     474     541      12       0       0
09:39:12    3247    3828      15     427     528      19       0       0
09:39:17    3093    3936      21     494     502       2       0       0
09:39:22    2143    2796      23     775     761       0       0       0
09:39:27    2087    2658      21     867     918       6       0       0
09:39:32    3855    3925       2     537     571       6       0       0
09:39:37    3745    4295      13     397     443      10       0       0
09:39:42    3641    3815       5     385     430      10       0       0
09:39:47    3257    3806      14     449     441       0       0       0
09:39:52    2650    3155      16     714     696       0       0       0
09:39:57    3862    3896       1     450     573      21       0       0
09:40:02    3925    4273       8     383     475      20       0       0
09:40:07    3637    3935       8     422     455       7       0       0
09:40:12    4084    4412       7     394     429       8       0       0
09:40:17    3669    4496      18     545     553       2       0       0
09:40:22    2284    2921      22     670     714       6       0       0
09:40:27    2471    2945      16     660     691       5       0       0

Average     3246    3921      17     517     558       7       0       0


sar -c  5 20

HP-UX         B.11.23 U ia64    08/13/08

10:01:57 scall/s  sread/s  swrit/s   fork/s   exec/s  rchar/s  wchar/s
10:02:02   33134     1222      319     0.00     0.00  13355739   683689
10:02:07   49202     1917     1000     2.00     1.60  16644506   889651
10:02:12   25917     1357      468     0.00     0.00  15923200   462029
10:02:17   27423     1518      641     2.00     1.60  15241625   322765
10:02:22   38572     1719      979     0.00     0.00  14622106   829030
10:02:27   41221     1699      825     2.20     1.80  16092159   504218
10:02:32   25879     1382      554     0.00     0.00  15520769   701440
10:02:37   26297     1498      654     2.00     1.60  17288226   547973
10:02:42   35690     1569      807     0.00     0.00  17521892   387848
10:02:47   50805     1982     1243     2.00     1.60  17087282   954163
10:02:52   31503     1543      746     0.00     0.00  18454118   625869
10:02:57   41889     1719      895     2.40     2.00  23105740   502579
10:03:02   21691     1228      368     0.00     0.00  23758440   388096
10:03:07   35713     2084      592     2.00     1.60  31232410   301466
10:03:12   33327     1531      778     0.00     0.00  28405146   387072
10:03:17   28136     1311      651     2.00     1.60  23095296  2835661
10:03:22   31512     1135      871     0.20     0.00  13683508  9533849
10:03:27   23130     1141      551     2.00     1.60  15788442  8046182
10:03:32   29228     1228      622     0.00     0.00  21349582   586547
10:03:37   32954     1824      818     2.00     1.60  24377754   498278

Average    33160     1530      719     1.04     0.83  19126707  1499355


# asar -d 2 50

HP-UX          B.11.23 U ia64    08/13/08

09:27:37   device   %busy   avque   r+w/s  blks/s  avwait  avserv
09:27:39   c2t1d0    1.49    0.50       3      34    0.00    6.18
           c2t0d0    3.48    0.50       6      56    0.00    6.56
           c4t0d2   99.50    6.47     679   36728    8.20   11.17
           c4t0d5   99.50    4.80     650   33385    5.76   11.62
09:27:41   c2t1d0    1.00    0.50       2      32    0.00    4.79
           c2t0d0    2.00    0.50       4      68    0.00    8.16
           c4t0d6    0.50    0.50       1      16    0.00    1.73
           c4t0d2  100.00    3.60     709   41176    3.41   10.55
           c4t0d5  100.00    3.46     616   27552    3.88   11.31
09:27:43   c2t1d0    1.50    0.50       2      33    0.00    7.47
           c2t0d0    1.50    0.50       4      37    0.00   10.30
           c4t0d4    0.50    0.50       4     139    0.00    2.30
           c4t0d2   99.50    5.82     788   46712    5.05    9.41
           c4t0d5  100.00    1.50     518   21736    2.01   12.95
09:27:45   c2t0d0    2.00    0.50       1      10    0.00   19.01
           c4t0d2  100.00    6.89     834   55056    6.93    9.38
           c4t0d5  100.00    1.53     504   19920    1.81   13.49
09:27:47   c2t1d0    1.00    0.50       1      16    0.00    5.53
           c2t0d0    3.50    0.50       3      42    0.00   11.06
           c4t0d6    0.50    0.50       2      40    0.00    1.89
           c4t0d2  100.00    2.69     590   34648    2.75   10.49
           c4t0d5  100.00    6.34     728   40080    7.53   11.00
09:27:49   c2t1d0    0.50    0.50       2      17    0.00    5.03
           c2t0d0    1.00    0.50       2      19    0.00   12.03
           c4t0d2  100.00    3.26     525   34592    3.95   12.09
           c4t0d5  100.00    7.22     664   36736    9.34   11.97
09:27:51   c2t1d0    0.50    0.50       2      24    0.00    6.82
           c2t0d0    1.00    0.50       2      26    0.00    6.93
           c4t0d2   99.50    2.96     339   16544    4.13   12.50
           c4t0d5  100.00    9.32     666   36144   12.23   12.00
09:27:53   c2t1d0    1.50    0.50       4      72    0.00    7.22
           c2t0d0    2.50    0.50       6      80    0.00   10.95
           c4t0d2   99.50    0.52     221    6296    0.03   11.75
           c4t0d5  100.00   13.70     673   37376   16.91   11.90
09:27:55   c2t1d0    1.51    0.50       2      32    0.00    7.39
           c2t0d0    4.52    0.50       7      70    0.00    8.44
           c4t0d2  100.00    0.55     210    5411    0.23   14.33
           c4t0d5  100.00   12.53     725   38271   15.57   11.05
09:27:57   c2t1d0    1.49    0.50       4      65    0.00    5.50
           c2t0d0    2.99    0.50       6      73    0.00    7.51
           c4t0d6    1.49    0.50       5     318    0.29    7.91
           c4t0d2  100.00    1.13     239    7809    1.12   17.48
           c4t0d5   99.50   13.82     772   45477   14.70   10.32
09:27:59   c2t0d0    1.01    0.50       1      10    0.00    6.22
           c4t0d6    1.01    0.82      10     378    0.21    3.35
           c4t0d2  100.00    1.22     231    7590    1.88   19.55
           c4t0d5  100.00    9.32     710   39099   11.42   11.30
09:28:01   c4t0d4    0.50    0.50       1       3    0.00    1.42
           c4t0d6    0.50    0.50       1      96    0.00    1.61
           c4t0d2   97.01    0.50     205    6456    0.00   14.27
           c4t0d5   99.50   10.91     625   39005   15.53   12.72
09:28:03   c2t1d0    1.00    0.50       2      33    0.00    7.37
           c2t0d0    2.50    0.50       3      39    0.00   14.78
           c4t0d2  100.00    0.54     170    3936    0.23   22.85
           c4t0d5  100.00   10.91     710   39728   13.95   11.30
09:28:05   c4t0d2  100.00    1.46     381   19024    1.86   15.90
           c4t0d5  100.00    9.95     585   34432   14.91   13.63
09:28:07   c2t0d0    3.50    0.50      20    1036    0.00    1.76
           c4t0d2  100.00    1.43     378   20384    1.54   17.27
           c4t0d5  100.00    9.98     756   44824   10.60   10.56
09:28:09   c2t1d0    1.00    0.50       2      24    0.00    6.18
           c2t0d0    3.50    0.50       3      30    0.00   12.26
           c4t0d6    0.50    0.50       1      64    0.00    6.03
           c4t0d2   99.50    4.64     592   34568    5.81   12.44
           c4t0d5  100.00    8.31     634   35960   10.28   12.58
09:28:11   c2t1d0    2.01    0.50       3      26    0.00    6.68
           c2t0d0    3.02    0.50       4      32    0.00    7.24
           c4t0d4    0.50    0.50       1       1    0.00    2.23
           c4t0d6    0.50    0.50       1      33    0.00    0.93
           c4t0d2  100.00   12.68     612   43867   17.03   12.55
           c4t0d5  100.00    4.56     725   37773    5.47   10.95
09:28:13   c2t1d0    0.50    0.50       2      24    0.00    8.14
           c2t0d0    1.00    0.50       2      26    0.00    7.73
           c4t0d6    1.00    0.50       4     129    0.00    3.13
           c4t0d2   99.50    9.50     592   45160   13.37   12.66
           c4t0d5  100.00    6.53     586   31328    8.98   13.50
09:28:15   c2t1d0    1.00    0.50       1      24    0.00    6.26
           c2t0d0    2.49    0.50       3      34    0.00    8.42
           c4t0d2   99.50    7.18     464   34603   11.98   15.54
           c4t0d5   99.50   11.20     776   46209   10.61   10.23
09:28:17   c2t1d0    0.50    0.50       1      16    0.00    9.11
           c2t0d0    1.50    0.50       2      28    0.00    5.19
           c4t0d6    0.50    0.50       0      32    0.00    6.89
           c4t0d2  100.00    6.89     543   35368    9.58   12.50
           c4t0d5  100.00    9.89     682   37136   11.98   11.70
09:28:19   c2t1d0    1.01    0.50       1      10    0.00    5.64
           c2t0d0    0.50    0.50       2      12    0.00    7.04
           c4t0d6    0.50    0.50       2      97    0.00    1.91
           c4t0d2  100.00    5.92     564   37379    7.53   12.31
           c4t0d5  100.00   10.82     666   38521   13.21   11.83
09:28:21   c2t0d0    0.50    0.50       1      16    0.00    4.44
           c4t0d4    0.50    0.50       1      24    0.00    3.04
           c4t0d2   97.51    2.61     499   30424    2.68   11.44
           c4t0d5   98.01   10.43     648   38098   13.41   12.28
09:28:23   c2t0d0    3.00    0.50       2      16    0.00   27.39
           c4t0d2  100.00    4.82     467   31848    8.50   14.75
           c4t0d5  100.00    8.21     667   37224    9.43   12.07
09:28:25   c2t1d0    2.00    0.50       8     347    0.00    5.71
           c2t0d0    4.00    0.50      24     561    0.00    3.55
           c4t0d2  100.00    2.15     389   19016    3.97   15.68
           c4t0d5  100.00    6.45     693   38344    8.56   11.45
09:28:27   c2t1d0    1.50    0.50       3      48    0.00    7.78
           c2t0d0    2.00    0.50       4      54    0.00    8.23
           c4t0d6    2.00    0.50      28    1126    0.00    1.30
           c4t0d2   99.00    1.68     318   13192    2.50   15.56
           c4t0d5  100.00    7.78     563   28536   11.64   14.10
09:28:29   c2t0d0    1.00    0.50       2      28    0.00    3.63
           c4t0d3    0.50    0.50       1      16    0.00    1.06
           c4t0d2  100.00    1.63     305   16592    3.12   17.21
           c4t0d5  100.00    6.05     636   33200    7.91   12.46
09:28:31   c2t1d0    1.50    0.50       3      48    0.00    8.91
           c2t0d0    1.50    0.50       4      52    0.00   11.05
           c4t0d6    1.50    0.50       4     168    0.00    3.25
           c4t0d2  100.00    1.33     417   24288    1.99   14.94
           c4t0d5  100.00    3.66     581   31768    5.58   13.39
09:28:33   c2t1d0    1.50    0.50       3      66    0.00    6.86
           c2t0d0    2.50    0.50       4      70    0.00    9.30
           c4t0d6    0.50    0.50       0       8    0.00    7.65
           c4t0d2   99.50    1.70     346   16760    2.68   14.76
           c4t0d5  100.00    8.28     656   37080   11.23   12.36
09:28:35   c2t1d0    4.00    0.50       5      73    0.00   11.42
           c2t0d0    5.00    0.50       7      81    0.00   13.78
           c4t0d2  100.00    1.19     298   12288    1.89   15.73
           c4t0d5  100.00   10.88     669   40128   13.77   11.86
09:28:37   c2t1d0    1.50    0.50       3      64    0.00    6.22
           c2t0d0    5.50    0.50       7      88    0.00    9.72
           c4t0d6    1.00    0.50       1      16    0.00    7.81
           c4t0d2  100.00    0.74     252   12471    0.72   17.55
           c4t0d5  100.00   11.89     838   55096   11.76    9.56
09:28:39   c2t1d0    0.50    0.50       2      13    0.00    4.25
           c2t0d0    1.50    0.50       6      51    0.00    3.02
           c4t0d6   11.50    0.50     132    6271    0.00    1.51
           c4t0d2  100.00    1.45     374   16888    2.35   15.45
           c4t0d5  100.00   10.97     586   39584   16.35   13.52
09:28:41   c2t1d0    1.00    0.50       2      18    0.00    5.16
           c2t0d0    2.50    0.50       4      26    0.00    5.59
           c4t0d6    4.50    0.50      55    2367    0.00    1.22
           c4t0d2   99.00    1.41     610   33593    2.10   11.89
           c4t0d5  100.00   10.28     417   25288   20.64   18.70
09:28:43   c2t1d0    0.50    0.50       1      16    0.00    4.95
           c2t0d0    0.50    0.50       2      18    0.00    9.85
           c4t0d2  100.00    0.84     522   28199    0.80   11.41
           c4t0d5  100.00   11.61     491   30992   22.77   16.61
09:28:45   c2t1d0    0.50    0.50       0       1    0.00    7.01
           c2t0d0    0.50    0.50       0       1    0.00    3.37
           c4t0d6    1.00    0.50       8      84    0.00    1.18
           c4t0d2  100.00    1.32     584   28353    1.24    8.73
           c4t0d5  100.00   18.06     544   37128   28.66   14.91
09:28:47   c2t0d0    0.50    0.50       2      18    0.00    6.79
           c4t0d6    2.00    0.50       9     608    0.11    5.97
           c4t0d2  100.00    0.54     225    5192    0.16   16.24
           c4t0d5  100.00   17.52     858   58712   17.53    9.27
09:28:49   c2t1d0    0.50    0.50       0       8    0.00    4.77
           c2t0d0    0.50    0.50       1      10    0.00    6.07
           c4t0d6    2.50    0.50      27    1800    0.00    1.85
           c4t0d2   99.50    1.40     344   13800    1.70   13.18
           c4t0d5  100.00   14.01     616   37680   19.89   12.92
09:28:51   c2t1d0    0.50    0.50       1       9    0.00    4.33
           c2t0d0    1.00    0.50       2      11    0.00    6.41
           c4t0d4    0.50    0.50       0      16    0.00    2.79
           c4t0d6    1.00    0.50       2     128    0.00    4.36
           c4t0d2  100.00    0.92     339   13912    0.89   12.49
           c4t0d5  100.00   19.13     722   49144   23.11   11.14
09:28:53   c2t1d0    1.50    0.50       3      72    0.00    6.86
           c2t0d0    2.50    0.50       4      78    0.00    7.09
           c4t0d6    0.50    0.50       2      64    0.00    2.35
           c4t0d2  100.00    1.08     294    8208    1.01   15.95
           c4t0d5  100.00   15.39     683   44464   20.01   11.61
09:28:55   c2t0d0    0.50    0.50       1      10    0.00    7.07
           c4t0d2  100.00    4.91     466   20136    6.70   13.05
           c4t0d5  100.00   12.41     622   40008   16.80   12.91
09:28:57   c2t1d0    3.50    1.54      14     531    0.66    4.66
           c2t0d0    5.50    1.38      16     541    2.70    9.15
           c4t0d2  100.00    0.61     199    5136    1.02   13.06
           c4t0d5  100.00   19.24     746   50240   22.74   10.63
09:28:59   c4t0d6    1.01    0.50       3      72    0.00    3.26
           c4t0d2  100.00    6.16     269   15341    9.64   14.82
           c4t0d5  100.00   14.09     696   41825   18.98   11.59
09:29:01   c4t0d2   88.06    0.91     151    5055    1.10   13.27
           c4t0d5   99.50   22.01     878   57266   21.47    9.07
09:29:03   c2t1d0    1.00    0.50       3      68    0.00    5.70
           c2t0d0    1.50    0.50       4      70    0.00    8.26
           c4t0d6    0.50    0.50       3      41    0.00    2.03
           c4t0d2   99.50    1.85     284   16696    2.19   13.37
           c4t0d5  100.00   16.76     570   34424   24.72   13.98
09:29:05   c2t1d0    2.01    0.50       5      72    0.00    4.81
           c2t0d0    3.02    0.50       6      78    0.00    7.37
           c4t0d6    1.01    0.50       3      56    0.00    2.85
           c4t0d2   96.98    0.53     184    5556    0.13   13.44
           c4t0d5  100.00   22.56     766   51602   24.60   10.54
09:29:07   c2t0d0    0.50    0.50       0       8    0.00    4.51
           c4t0d6    1.49    0.50       6     151    0.00    3.42
           c4t0d2   99.50    1.11     249   12147    1.26   12.67
           c4t0d5   99.50   20.74     654   43455   26.28   12.05
09:29:09   c2t0d0    0.50    0.50       1      10    0.00    6.21
           c4t0d2   71.86    1.25     111    4470    1.55   14.21
           c4t0d5  100.00   20.50     888   59264   20.53    9.03
09:29:11   c2t1d0    1.99    0.50       3      42    0.00    5.85
           c2t0d0    4.48    0.50       6      54    0.00    7.11
           c4t0d6    3.48    0.58      42    2325    0.10    2.32
           c4t0d2   98.51    1.24     267   17465    1.79   14.99
           c4t0d5   99.50   16.40     706   44609   20.98   11.25
          c13t1d2    0.50    0.50       0       1    0.00    0.88
09:29:13   c2t1d0    1.00    0.50       2      18    0.00    6.76
           c2t0d0    1.00    0.50       2      20    0.00    6.86
           c4t0d2  100.00    3.81     435   33800    5.40   13.69
           c4t0d5   99.50   13.74     678   38248   16.60   11.72
09:29:15   c2t1d0    0.50    0.50       2      24    0.00    8.10
           c2t0d0    1.50    0.50       2      28    0.00    7.46
           c4t0d2  100.00    3.50     540   41488    4.76   12.19
           c4t0d5  100.00   10.48     544   31696   16.71   14.82
09:29:17   c2t1d0    1.00    0.50       2      32    0.00    6.42
           c2t0d0    1.50    0.50       2      36    0.00    9.68
           c4t0d2  100.00    3.12     526   37952    3.98   11.60
           c4t0d5  100.00   12.63     492   27848   23.01   16.29

Average    c2t1d0    0.91    0.65       2      41    0.09    6.36
Average    c2t0d0    1.96    0.57       4      75    0.22    7.35
Average    c4t0d2   99.07    3.57     403   22272    4.57   13.07
Average    c4t0d5   99.99   11.72     661   38873   14.70   11.94
Average    c4t0d6    0.85    0.52       7     330    0.02    1.99
Average    c4t0d4    0.05    0.50       0       4    0.00    2.31
Average    c4t0d3    0.01    0.50       0       0    0.00    1.06
Average   c13t1d2    0.01    0.50       0       0    0.00    0.88

sinemaw

c4t0d2和c4t0d5有IO瓶颈，用glance分析下。

liaosnet

c4t0d2   96.98    0.53     184    5556    0.13   13.44
           c4t0d5  100.00   22.56     766   51602   24.60   10.54

硬盘I/0太高了~

noise

原帖由 sinemaw 于 2008-8-13 17:39 发表
c4t0d2和c4t0d5有IO瓶颈，用glance分析下。

GLANCE以前没用过，在网上找了些使用方法，但没有个判断标准也没什么用啊。另外，如何对系统进行优化还是个问题啊。

sinemaw

从sar来看，你的系统参数都是正常的，所以可以从应用或数据库层来看看；
看看c4t0d2和c4t0d5上都跑的什么东西，跑的这些东西有没有在正常的工作。

[ 本帖最后由 sinemaw 于 2008-8-14 09:02 编辑 ]

noise

上面跑的是ORACLE10G。

noise

原帖由 sinemaw 于 2008-8-14 09:00 发表
从sar来看，你的系统参数都是正常的，所以可以从应用或数据库层来看看；
看看c4t0d2和c4t0d5上都跑的什么东西，跑的这些东西有没有在正常的工作。

在使用TOP的时候看到的CPU IDLE和SAR中的差异很大。

sunraychuang

貌似应该是LZ的机器负载不了现在的应用，而不光光是c4t0d2和c4t0d5这2条链路的I/O过高。
CPU的性能也是问题之一，差的太多了。
LZ该换机器了。

sinemaw

找SAP的人看看吧，TOP还算正常，IO利用率高就是SAP的数据库的问题。

noise

SAP的人也没什么办法。前段时间SAP的人维护过一次数据库，但做了一半数据库就宕了，数据库再启动起来的时候就开始慢，到现在是越来越慢。