Chinaunix

标题: IO性能瓶颈，请高手指教 [打印本页]

作者: wing0697 时间: 2011-08-26 05:40
标题: IO性能瓶颈，请高手指教
本帖最后由 wing0697 于 2011-08-29 09:27 编辑

Mb    Mb    Mb PCT  START/    Mb
TYPE    AVAIL USED FREE  USED LIMIT RESERVE  PRI  NAME
dev       8192    14 8178 0%    0    - 1  /dev/vg00/lvol2
dev    16384    14 16370 0%    0    - 1  /dev/vg00/lvswap2
reserve    - 12103  -12103
memory 16317 11319 4998 69%
total    40893 23450 17443 57%    -    0 -

SQL> show parameter sga;

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
lock_sga
boolean
TRUE
pre_page_sga
boolean
FALSE
sga_max_size

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
big integer
8595949248
SQL> show parameter pga_

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
pga_aggregate_target
big integer
2147483648
SQL> show parameter log;

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
db_create_online_log_dest_1
string

db_create_online_log_dest_2
string

db_create_online_log_dest_3

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
string

db_create_online_log_dest_4
string

db_create_online_log_dest_5
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------

dblink_encrypt_login
boolean
FALSE
log_archive_dest
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
log_archive_dest_1
string
location=/scbak/archlog
log_archive_dest_10
string

log_archive_dest_2

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
string
service=standby optional reope
n=180
log_archive_dest_3
string

log_archive_dest_4

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
string

log_archive_dest_5
string

log_archive_dest_6
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------

log_archive_dest_7
string

log_archive_dest_8
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
log_archive_dest_9
string

log_archive_dest_state_1
string
enable
log_archive_dest_state_10

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
string
enable
log_archive_dest_state_2
string
DEFER
log_archive_dest_state_3
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
enable
log_archive_dest_state_4
string
enable
log_archive_dest_state_5
string
enable

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
log_archive_dest_state_6
string
enable
log_archive_dest_state_7
string
enable
log_archive_dest_state_8

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
string
enable
log_archive_dest_state_9
string
enable
log_archive_duplex_dest
string

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------

log_archive_format
string
arch_%t_%s.arc
log_archive_max_processes
integer
6

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
log_archive_min_succeed_dest
integer
1
log_archive_start
boolean
TRUE
log_archive_trace

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
integer
0
log_buffer
integer
5000192
log_checkpoint_interval
integer

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
0
log_checkpoint_timeout
integer
1800
log_checkpoints_to_alert
boolean
FALSE

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
log_file_name_convert
string

log_parallelism
integer
1
logmnr_max_persistent_sessions

NAME
------------------------------------
TYPE
----------------------------------------------------------------
VALUE
------------------------------
integer
1
remote_login_passwordfile
string
EXCLUSIVE
SQL>

作者: wing0697 时间: 2011-08-26 05:41
本帖最后由 wing0697 于 2011-08-29 09:28 编辑

05:28:49 device %busy avque r+w/s  blks/s  avwait  avserv
05:28:50 c0t6d0 3.06 0.50    10    122 0.00 5.38
         c2t6d0 3.06 0.50    9    106 0.00 4.15
      c18t0d4 95.92 0.51 1656  223951 0.01 1.45
      c18t0d3 79.59 0.50    483 95167 0.00 2.46
      c10t0d5 63.27 0.51    535  109714 0.05 4.41
05:28:51 c0t6d0 7.84 0.50    19    96 0.00 6.44
         c2t6d0 5.88 0.50    17    88 0.00 5.13
      c18t0d4 89.22 0.50 1173  178808 0.00 1.73
      c18t0d3 78.43 0.50    457 92455 0.00 2.75
      c10t0d5 54.90 0.52    536  110431 0.04 4.02
05:28:52 c0t6d0 6.93 0.50    18    210 0.22 13.76
         c2t6d0 7.92 0.50    14    194 0.34 18.97
      c18t0d4 80.20 0.50    465  110608 0.00 3.18
      c18t0d3 41.58 0.50    249 50125 0.00 2.50
      c10t0d5 74.26 0.53    746  155612 0.05 3.64
05:28:53 c0t6d0 1.00 0.50    2    20 0.00 5.10
         c2t6d0 1.00 0.50    1    16 0.00 5.68
      c18t0d4 92.00 0.50    477 98320 0.00 4.13
      c10t0d5 88.00 0.55    752  158092 0.07 3.44
05:28:54 c0t6d0 3.03 0.50    6    73 0.00 10.23
         c2t6d0 1.01 0.50    4    65 0.00 7.95
      c18t0d4 82.83 0.50    533  127806 0.00 2.84
      c18t0d2 3.03 0.50    7    113 0.00 4.52
      c18t0d3 75.76 0.50    516  119224 0.00 2.18
      c10t0d5 2.02 0.50    4 1034 0.00 5.18
05:28:55 c0t6d0 1.00 0.50    2    96 0.00 4.23
         c2t6d0 1.00 0.50    1    92 0.00 7.67
      c18t0d4 84.00 0.50    436  113824 0.00 2.79
      c18t0d2 1.00 0.50    5    96 0.00 1.43
      c18t0d3 78.00 0.50    516  113312 0.00 2.22
05:28:56 c0t6d0 0.99 0.50    2    32 0.00 9.74
         c2t6d0 1.98 0.50    2    32 0.00 9.76
      c18t0d4 91.09 5.52    975  108277 3.43 2.77
      c18t0d3 75.25 0.50    503  117434 0.00 2.18
05:28:57 c0t6d0 2.04 0.50    3    37 0.00 7.68
         c2t6d0 1.02 0.50    2    33 0.00 5.21
      c18t0d4 94.90 0.55 1134  126776 0.04 2.51
      c18t0d3 31.63 0.50    176 39429 0.00 2.44
      c10t0d5 52.04 0.50    249 56849 0.00 2.84
05:28:58 c0t6d0 1.98 0.50    5    55 0.00 8.35
         c2t6d0 0.99 0.50    3    48 0.00 4.59
      c18t0d4 95.05 0.54 1465  173608 0.03 2.25
      c18t0d3 24.75 0.50    143 30479 0.00 2.75
      c10t0d5 52.48 0.50    316 73299 0.00 2.34
05:28:59 c0t6d0 1.00 0.50    3    36 0.00 6.92
         c2t6d0 1.00 0.50    2    32 0.00 3.79
      c18t0d4 97.00 0.53 1783  220944 0.02 1.75
      c18t0d3 78.00 0.50    513  105584 0.00 2.18

Average c0t6d0 2.90 0.50    7    78 0.06 8.70
Average c2t6d0 2.50 0.50    6    71 0.09 8.85
Average c18t0d4 90.20 1.01 1009  148213 0.35 2.24
Average c18t0d3 56.30 0.50    355 76315 0.00 2.36
Average c10t0d5 38.70 0.53    314 66619 0.04 3.59
Average c18t0d2 0.40 0.50    1    21 0.00 3.23

作者: wing0697 时间: 2011-08-26 05:45
本帖最后由 wing0697 于 2011-08-29 09:28 编辑

123

作者: wing0697 时间: 2011-08-26 05:47
c0t6d0    50    7.4    1.0
  c2t6d0    50    5.8    1.0
  c3t0d0    0    0.0    1.0
  c4t0d0    0    0.0    1.0
c18t0d4 88747 771.5    1.0
c20t0d4    0    0.0    1.0
c10t0d4    0    0.0    1.0
c12t0d4    0    0.0    1.0
c18t0d2 9578 91.2    1.0
c12t0d2    0    0.0    1.0
c10t0d2    0    0.0    1.0
c20t0d2    0    0.0    1.0
c18t0d3 88874 868.9    1.0
c20t0d3    0    0.0    1.0
c10t0d3    0    0.0    1.0
c12t0d3    0    0.0    1.0
c10t0d5 13847 137.3    1.0
c12t0d5    0    0.0    1.0
c18t0d5    0    0.0    1.0
c20t0d5    0    0.0    1.0

iostat 看到的信息， c18t0d4 c18t0d2 c18t0d3 c10t0d5
这几个数据传输繁忙的磁盘是卷组vgsc vgscbak上面的，也就是bdf上面看到的/scdata /scbak

作者: wing0697 时间: 2011-08-26 05:48
本帖最后由 wing0697 于 2011-08-29 09:28 编辑

vmstat 1 10
      procs          memory                page                            faults    cpu
r    b    w    avm free re at pi po fr de sr    in    sy cs  us sy id
3    0    0 637558  170892 74 8    0 0    0 0    0 7253  48362  1983  17  2 81
3    0    0 637558  170815 13 0    0 0    0 0    0 9063  15515  1049  10  1 89
3    0    0 637558  170815 10 0    0 0    0 0    0 8386  14202  1040  18  1 81
3    0    0 637558  170815 8 0    0 0    0 0    0 8936  15544  1068  13  1 86
2    1    0 609137  170815 15 0    0 0    0 0    0 8957  15574  1088  15  2 83
2    1    0 609137  170603 12 0    0 0    0 0    0 9049  16088  1094  14  1 85
2    1    0 609137  170602 9 0    0 0    0 0    0 8963  15823  1098  14  1 85
2    1    0 609137  170602 7 0    0 0    0 0    0 8699  15378  1073  13  1 86
2    1    0 609137  170602 5 0    0 0    0 0    0 8919  16200  1076  12  1 87
2    1    0 609137  170602 4 0    0 0    0 0    0 8554  15363  1062  13  2 85

作者: wing0697 时间: 2011-08-26 05:49
机器配置8个cpu 16g物理内存

只跑了一个数据库实例，sga分配了8g，pga分配了2g

作者: wing0697 时间: 2011-08-26 05:51
本帖最后由 wing0697 于 2011-08-29 09:29 编辑

123

作者: wing0697 时间: 2011-08-26 05:52
本帖最后由 wing0697 于 2011-08-29 09:29 编辑

123

作者: wing0697 时间: 2011-08-26 05:54
本帖最后由 wing0697 于 2011-08-29 09:29 编辑

123

作者: wing0697 时间: 2011-08-26 05:57
本帖最后由 wing0697 于 2011-08-29 09:29 编辑

123

作者: ruslin 时间: 2011-08-26 09:08
两个方面：
1. 内存不足，物理内存不够，导致频繁使用交换区(使用交换区就是读写磁盘，必定造成io瓶颈)。解决方法：增大内存，优化程序减少内存，增加机器处理。
2. 的确是磁盘访问任务过于繁重。解决方法：磁盘阵列，增加机器处理，优化程序。

作者: wing0697 时间: 2011-08-26 09:53
会不会跟逻辑卷分的太少有关系？

条带化做的不够？

作者: wing0697 时间: 2011-08-26 10:04
用的存储是EVA4100

作者: cjhvslhb 时间: 2011-08-26 10:57
1.使用measureware收集一周左右的数据，可以观察到业务的时点变化规律，还有更多的一些信息。
2.如果在硬件侧必须提升硬件I/O效率的法有两个办法，一是给EVA4100增加更多的硬盘，EVA系列的阵列随着硬盘数量的提升I/O性能会有很大的提升，二是操作系统升至11.31，11IV3的多链路聚合功能会提升30-50%的I/O性能，
3.oracle数据库的性能分析和SQL语句优化。

作者: wing0697 时间: 2011-08-26 11:15
本帖最后由 wing0697 于 2011-08-29 09:32 编辑

存储已经加满了

作者: wing0697 时间: 2011-08-26 11:20
B.11.23 U ia64 目前的操作系统版本

作者: InfoSVC 时间: 2011-08-26 11:44
我觉得是基于数据库调优的问题
为什么不从数据库下手呢
首先判断数据库是什么类型的库,为什么为25号还是正常的
到26号就异常了,判断这两天系统或者数据库进行了哪些修改
其次针对数据库的要求来对系统进行调整,看是否存在参数配置的问题
是否存在数据热点的问题
最后才是sql的调优

作者: wing0697 时间: 2011-08-26 14:24
本帖最后由 wing0697 于 2011-08-29 09:34 编辑

不是今天才出现，是昨天才做的glance监控，这个问题有段时间了，sql问题也较严重

作者: wing0697 时间: 2011-08-26 15:16
本帖最后由 wing0697 于 2011-08-27 15:03 编辑

12

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)