原创:RAC系列之创建、维护多主机SVM镜像（SunCluster 3.1u4环境下）（By oldunix）

oldunix

RAC系列之创建、维护多主机SVM镜像（SunCluster 3.1u4环境下）（原创By oldunix）

转载请注明作者网名oldunix

1、在Sun 服务器rac1、rac2上，安装Sun Cluster，agent for RAC、SVM支持包、oracle RAC for solaris补丁（分布式文件锁）

2、在Sun 服务器rac1、rac2上，创建SVM状态数据库
metadb -afc 3  /dev/rdsk/c1t0d0s7 /dev/rdsk/c1t1d0s7

3、创建多主机卷集
在Sun 服务器rac1 上执行如下命令：
metaset -s ora_vote -M -a -h rac1 rac2

4、增加磁盘
在Sun 服务器rac1 上执行如下命令：
metaset -s ora_vote -a /dev/did/dsk/d10  /dev/did/dsk/d19 （设备名通过scdidadm -L查找）

5、在Sun 服务器rac1、rac2上，修改文件

/etc/lvm/md.tab
ora_vote/d60    -m  ora_vote/d61 ora_vote/d62
ora_vote/d61 1 1 /dev/did/rdsk/d10s0
ora_vote/d62 1 1 /dev/did/rdsk/d19s0

通过配置文件来做，最大的好处在于可以保存配置的历史，一旦发生故障，比较容易了解情况，便于进行恢复！建议大家用这个方法！


6、在Sun服务器rac1上，激活多主机卷
metainit   -s ora_vote -a

7、修改属性
在Sun 服务器rac1、rac2上:

chown oracleinstall /dev/md/ora_vote/rdsk/d60
chmod u+rw /dev/md/ora_vote/rdsk/d60
ls –lL /dev/md/ora_vote/rdsk/d60

[ 本帖最后由 oldunix 于 2008-6-30 09:44 编辑 ]

oldunix

故障模拟

正常时的情况

$ crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora.oradb.db   application    ONLINE    ONLINE    rac1        
ora....amdb.cs application    ONLINE    ONLINE    rac2        
ora....db1.srv application    ONLINE    ONLINE    rac1        
ora....db2.srv application    ONLINE    ONLINE    rac2        
ora....b1.inst application    ONLINE    ONLINE    rac1        
ora....b2.inst application    ONLINE    ONLINE    rac2        
ora....SM1.asm application    ONLINE    ONLINE    rac1        
ora....C1.lsnr application    ONLINE    ONLINE    rac1        
ora.rac1.gsd   application    ONLINE    ONLINE    rac1        
ora.rac1.ons   application    ONLINE    ONLINE    rac1        
ora.rac1.vip   application    ONLINE    ONLINE    rac1        
ora....SM2.asm application    ONLINE    ONLINE    rac2        
ora....C2.lsnr application    ONLINE    ONLINE    rac2        
ora.rac2.gsd   application    ONLINE    ONLINE    rac2        
ora.rac2.ons   application    ONLINE    ONLINE    rac2        
ora.rac2.vip   application    ONLINE    ONLINE    rac2        


$metastat -s ora_data1

ora_data1/d10: Mirror
    Submirror 0: ora_data1/d11
      State: Okay         
    Submirror 1: ora_data1/d12
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Resync option: optimized resync
    Owner: rac2
    Size: 450830336 blocks (214 GB)

ora_data1/d11: Submirror of ora_data1/d10
    State: Okay         
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d13s0           0     No            Okay   No  


ora_data1/d12: Submirror of ora_data1/d10
    State: Okay         
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d4s0            0     No            Okay   No  


Device Relocation Information:
Device   Reloc  Device ID
d4    No        -
d13   No        -

关掉一个阵列


$ crs_stat -t
Name           Type           Target    State     Host        
------------------------------------------------------------
ora.oradb.db   application    ONLINE    ONLINE    rac1        
ora....amdb.cs application    ONLINE    ONLINE    rac2        
ora....db1.srv application    ONLINE    ONLINE    rac1        
ora....db2.srv application    ONLINE    ONLINE    rac2        
ora....b1.inst application    ONLINE    ONLINE    rac1        
ora....b2.inst application    ONLINE    ONLINE    rac2        
ora....SM1.asm application    ONLINE    ONLINE    rac1        
ora....C1.lsnr application    ONLINE    ONLINE    rac1        
ora.rac1.gsd   application    ONLINE    ONLINE    rac1        
ora.rac1.ons   application    ONLINE    ONLINE    rac1        
ora.rac1.vip   application    ONLINE    ONLINE    rac1        
ora....SM2.asm application    ONLINE    ONLINE    rac2        
ora....C2.lsnr application    ONLINE    ONLINE    rac2        
ora.rac2.gsd   application    ONLINE    ONLINE    rac2        
ora.rac2.ons   application    ONLINE    ONLINE    rac2        
ora.rac2.vip   application    ONLINE    ONLINE    rac2

[ 本帖最后由 oldunix 于 2008-6-30 09:36 编辑 ]

oldunix

处理方法：

1、停止Oracle RAC集群的一个节点rac2


2、查看卷的当前状态

root@rac1 # metastat -s ora_data1
ora_data1/d10: Mirror
    Submirror 0: ora_data1/d12
      State: Okay         
    Submirror 1: ora_data1/d11
      State: Needs maintenance
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Resync option: optimized resync
    Owner: rac1
    Size: 450830336 blocks (214 GB)

ora_data1/d12: Submirror of ora_data1/d10
    State: Okay         
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d4s0            0     No            Okay   No  


ora_data1/d11: Submirror of ora_data1/d10
    State: Needs maintenance    
    Invoke: metareplace ora_data1/d10 d13s0 <new device>
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d13s0           0     No     Maintenance   No  


Device Relocation Information:
Device   Reloc  Device ID
d13   No        -
d4    No        -


3 、将子镜像从卷中分离出来

root@rac1 # metadetach -f ora_data1/d10 ora_data1/d11

ora_data1/d10: submirror ora_data1/d11 is detached


4、清除子镜像
root@rac1 # metaclear -f ora_data1/d11
ora_data1/d11: Concat/Stripe is cleared


5、重建子镜像（根据文件/etc/lvm/md.tab相关的行来做）
root@rac1 # metainit ora_data1/d11 1 1 /dev/did/rdsk/d13s0
ora_data1/d11: Concat/Stripe is setup


6、将子镜像加入卷
root@rac1 # metattach ora_data1/d10 ora_data1/d11
ora_data1/d10: submirror ora_data1/d11 is attached

7、查看状态
root@rac1 # metastat -s ora_data1
ora_data1/d10: Mirror
    Submirror 0: ora_data1/d12
      State: Okay         
    Submirror 1: ora_data1/d11
      State: Resyncing   
    Resync in progress: 7 % done
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Resync option: optimized resync
    Owner: rac1
    Size: 450830336 blocks (214 GB)

ora_data1/d12: Submirror of ora_data1/d10
    State: Okay         
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d4s0            0     No            Okay   No  


ora_data1/d11: Submirror of ora_data1/d10
    State: Resyncing   
    Size: 450830336 blocks (214 GB)
    Stripe 0:
        Device   Start Block  Dbase        State Reloc Hot Spare
        d13s0           0     No            Okay   No  


Device Relocation Information:
Device   Reloc  Device ID
d13   No        -
d4    No        -
root@rac1 #


8、启动停止的Oracle RAC集群节点rac2，并等待故障卷同步完成。

[ 本帖最后由 oldunix 于 2008-6-30 09:23 编辑 ]

oldunix

先占座！

westlife521

我才叫占座
自己不算

nimysun

东方蜘蛛

第5步一定要做么？

oldunix

原帖由 东方蜘蛛 于 2008-6-27 00:44 发表
第5步一定要做么？

你找个环境尝试一下吧！

这个步骤我是根据sun的文档及模板文件做的，肯定好使哟！

东方蜘蛛

第7点也提醒一下，如果是sun cluster环境下的rac的话，你这样修改的权限是/global/devices/pseudo中的oracle裸设备文件权限，而oracle中调用的为/devices/pseudo中的oracle裸设备文件，所以除了修改/global下的权限外，还需修改/devices/pseudo下相应裸设备的权限。不然会导致oracle用em增加新数据文件后出现I/O报错而导致无法启动数据库。

westlife521

精辟.....