HACMP5.4 + ORACLE CRS 集群

laigq

机器 IBM P595 两台
HACMP5.4  + CRS
硬件配置情况： 两个双网口 网卡  一个异步串口卡
网络设置

1、进行网卡绑定
# lsslot -c pci
# Slot                    Description                         Device(s)
U5791.001.99B13HK-P2-C05  PCI-X capable, 64 bit, 133MHz slot  fcs0
U5791.001.99B13DH-P2-C05  PCI-X capable, 64 bit, 133MHz slot  fcs1
U5791.001.99B13HK-P2-C06  PCI-X capable, 64 bit, 133MHz slot  ent0 ent1
U5791.001.99B13DH-P2-C06  PCI-X capable, 64 bit, 133MHz slot  ent2 ent3
U5791.001.99B13HK-P2-C07  PCI-X capable, 64 bit, 133MHz slot  sa0
网卡绑定方法：（热备方式）
ent0 + ent2 = ent4
ent1 + ent3 = ent5
#smit etherchannel
                                            EtherChannel / IEEE 802.3ad Link Aggregation
Move cursor to desired item and press Enter.
  List All EtherChannels / Link Aggregations
  Add An EtherChannel / Link Aggregation
  Change / Show Characteristics of an EtherChannel / Link Aggregation
  Remove An EtherChannel / Link Aggregation
  Force A Failover In An EtherChannel / Link Aggregation
                                               Add An EtherChannel / Link Aggregation
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
  
                                                        [Entry Fields]
  EtherChannel / Link Aggregation Adapters            ent0                                                                       +
  Enable Alternate Address                            no                                                                         +
  Alternate Address                                  []                                                                          +
  Enable Gigabit Ethernet Jumbo Frames                no                                                                         +
  Mode                                                standard                                                                   +
  Hash Mode                                           default                                                                    +
  Backup Adapter                                      ent2                                                                       +
       Automatically Recover to Main Channel          yes                                                                        +
       Perform Lossless Failover After Ping Failure   yes                                                                        +
  Internet Address to Ping                           []
  Number of Retries                                  []                                                                          +#
  Retry Timeout (sec)                                []  
网络参数
#/usr/sbin/no -r -o ipqmaxlen=512
#/usr/sbin/no -p -o rfc1323=1
#/usr/sbin/no -p -o sb_max=1310720
#/usr/sbin/no -p -o tcp_recvspace=65536
#/usr/sbin/no -p -o tcp_sendspace=65536
#/usr/sbin/no -p -o udp_recvspace=655360
#/usr/sbin/no -p -o udp_sendspace=65536
注意：
ipqmaxlen parameter调整方法
网络参数要求：
ipqmaxlen 512
rfc1323 1
sb_max 2*655360
tcp_recvspace 65536
tcp_sendspace 65536
udp_recvspace 655360
Note: The recommended value of this parameter is 10 times the value of the udp_sendspace parameter. The value must be less than the value of the sb_max parameter.
udp_sendspace 65536
Note: This value is suitable for a default database installation. For production databases, the minimum value for this parameter is 4KB plus the value of the database DB_BLOCK_SIZE initialization parameter multiplied by the value of the DB_MULTIBLOCK_READ_COUNT initialization parameter:(DB_BLOCK_SIZE * DB_MULTIBLOCK_READ_COUNT) + 4 KB =(16*8+4)*1024=

2、设置IP
#smit tcpip
节点cs_a:
en4：202.116.193.149
en5：192.168.100.1
节点cs_b：
en4：202.116.193.151
en5：192.168.100.2
#vi /etc/hosts
202.116.193.149  csa
202.116.193.150  csa-vip
192.168.100.1  csa_priv
202.116.193.151  csb
202.116.193.152  csb-vip
192.168.100.2    csb_priv
#vi /etc/hosts.equiv
csa      root
csa-vip  root
csa_priv root
csb      root
csb-vip  root
csb_priv root
csa      oracle
csa-vip  oracle
csa_priv oracle
csb      oracle
csb-vip  oracle
csb_priv oracle
root：
#vi .rhosts
csa      root
csa-vip  root
csa_priv root
csb      root
csb-vip  root
csb_priv root
csa      oracle
csa-vip  oracle
csa_priv oracle
csb      oracle
csb-vip  oracle
csb_priv oracle
//测试远程登录
#rlogin csa
#rlogin csb
3、修改系统参数，进行调优
调整交换页空间
#lsps -a
#smit chps   调整为 内存的两倍，内存大于8 G ，则为 内存大小
系统用户数及最大进程数
#smit chgsys
调整为：1024
修改时区
#smit system
启用异步I/O
#smit chaio
MINIMUM number of servers          1   15
MAXIMUM number of servers per cpu  10 30
STATE to be configured at system restart define available
修改文件：/etc/security/limits
#vi /etc/security/limits
default:
        fsize = 2097151
        core = 2097151
        cpu = -1
        data = 262144
        rss = 65536
        stack = 65536
        nofiles = 2000
root:
        fsize = -1
        data = -1
        stack = -1
        core = -1
oracle:
        fsize = -1
        data = -1
        stack = -1
        core = -1
用一下命令验证设置：
#ulimit -a
调整内存参数：
#vmo -p -o parameter=value
调整要求：
lru_file_repage=0
minperm% = 5
maxclient% = 80
maxperm% = 80
命令：
#vmo -p -o lru_file_repage=0
#vmo -p -o minperm%=5
#vmo -p -o maxclient%=80
#vmo -p -o maxperm%=80
4、新建用户和组及相关的文件系统
用户： oracle  组： oinstall（primary group）    dba，hagsuser （second group）
#smit mkgroup
#smit mkuser
#id nobody //确认 nobody 是否存在
配置oracle 用户的shell limits
#smit chuser
soft FILE size -1 (Unlimited)
soft CPU time -1 (Unlimited)
Note:this id the default value
soft DATA segment -1 (Unlimited)
soft STACK size -1 (Unlimited)
配置root 用户的shell limits
#smit chuser
新建软件安装目录
创建 crs 安装目录
#smit crfs
/crs    大小10G
#mkdir -p /crs/app/oracle/product/crs_1
#chown -R root:oinstall /crs
#chmod -R 775 /crs
创建 oracle 安装oracle_base目录
#smit crfs
/oracle  大小 15g
#mkdir -p /oracle/app/oracle/product/10.2.0/db_1
#chown -R oracle:oinstall /oracle
#chmod -R 775 /oracle
对于上传文件进行安装时，最好新建一个文件系统，用于存放 该安装文件
#smit crfs
新建 文件系统 /ptfs : 大小 5G
上传 HACMP   CRS   database  及相关的不订包
#chown -R oracle:oinstall /ptfs/crs
#chmod -R 775 /ptfs/crs
#ls -l /ptfs
-rw-r-----    1 root     system    750959616 Apr 29 13:21 10gr2_aix5l64_cluster.cpio
-rw-r-----    1 root     system   1321110528 Apr 29 13:21 10gr2_aix5l64_database.cpio
drwxr-xr-x    5 root     system          256 Apr 29 13:35 ha53
-rw-r-----    1 root     system   1962784504 Apr 29 13:24 p6810189_10204_AIX5L.zip  //hacmp 补丁
drwxr-x---    3 root     system         4096 Apr 29 13:20 xlc
解压相关的软件包及进行安装
#gunzip  10gr2_aix5l64_cluster.cpio.gz
#cpio -idcmv
5、进行相关软件包的安装
需要安装的相关软件包：
Xlc
hacmp5.3
hacmp 补丁包
CRS 及其补丁包
oracle database 及相关软件包。
#inutoc /ptfs/xlc
#smit update_all
HACMP 安装配置
#smit installp  (hacmp)
#smit update_all (安装hacmp 补丁包）
配置 hacmp
串口网络
网卡网络
资源： concurent VG ----  500G
在hacmp同步前，必须启动下面的 clcomdES
#vi /usr/es/sbin/cluster/etc/rhosts
csa      
csa-vip  
csa_priv
csb      
csb-vip
csb_priv
#/usr/bin/startsrc -s clcomdES
安装 CRS 需要准备最少两个 raw disk
/dev/rhdisk2
/dev/rhdisk3
查看 mapping 过来的 lun
#fget_config -Av
#lspv
# fget_config -Av
---dar0---
User array name = 'ds4800_new'
dac0 ACTIVE dac1 ACTIVE
Disk     DAC   LUN Logical Drive
utm             31
hdisk2   dac0    0 R1_L10_2G   
hdisk3   dac0    2 R1_L6_250G   
hdisk4   dac0    3 R2_L10_2G   
hdisk5   dac0    5 R2_L6_250G   
hdisk6   dac0    6 R3_L10_2G   
hdisk7   dac0    7 R4_L10_2G   
hdisk8   dac0    8 R5_L10_2G
OCR盘 （2个）
# chown root:oinstall /dev/rhdisk2
# chown root:oinstall /dev/rhdisk4
# chmod 640 /dev/rhdisk2
# chmod 640 /dev/rhdisk4
Voting disk or database files:（3个）
# chown oracle:dba /dev/rhdisk6
# chown oracle:dba /dev/rhdisk7
# chown oracle:dba /dev/rhdisk8
# chmod 644 /dev/rhdisk6
# chmod 644 /dev/rhdisk7
# chmod 644 /dev/rhdisk8
设置共享裸盘的属性: (共享的数据盘都要使用)
■ SSA and FAStT devices:
# /usr/sbin/chdev -l hdiskn -a reserve_lock=no
■ ESS, EMC, HDS, CLARiiON, and MPIO-capable devices:
# /usr/sbin/chdev -l hdiskn -a reserve_policy=no_reserve
#chdev -l hdisk2  -a pv=yes    \\设置磁盘可用，有pvid
#lsattr -El hdisk2 |grep reserve
#chdev -l hdisk2 -a reserve_policy=no_reserve
#lsattr -El hdisk2 |grep reserve  \\确认是否已经修改
#chdev -l hdisk4 -a reserve_policy=no_reserve
#lsattr -El hdisk4 |grep reserve  \\确认是否已经修改
#chdev -l hdisk6 -a reserve_policy=no_reserve
#lsattr -El hdisk6 |grep reserve  \\确认是否已经修改
#chdev -l hdisk7 -a reserve_policy=no_reserve
#lsattr -El hdisk7 |grep reserve  \\确认是否已经修改
#chdev -l hdisk8 -a reserve_policy=no_reserve
#lsattr -El hdisk8 |grep reserve  \\确认是否已经修改
#chdev -l hdisk2 -a pv=clear    \\撤销磁盘的pvid
#chdev -l hdisk4 -a pv=clear    \\撤销磁盘的pvid
#chdev -l hdisk6 -a pv=clear    \\撤销磁盘的pvid
#chdev -l hdisk7 -a pv=clear    \\撤销磁盘的pvid
#chdev -l hdisk8 -a pv=clear    \\撤销磁盘的pvid
、
同理在每个节点设置 hdisk4  hdisk6 hdisk7  hdisk8  
修改 /home/oracle/.profile 文件
#su - oracle
#vi /home/oracle/.profile
umask 022
PS1="[`whoami`@`hostname`:"'$PWD]$'
export PS1
ORACLE_BASE=/oracle/app/oracle
export ORACLE_BASE
ORACLE_SID=testdb
export ORACLE_SID
ORACLE_HOME=/oracle/app/oracle/product/10.2.0/db_1
export ORACLE_HOME
ORA_CRS_HOME=/crs/app/oracle/product/crs_1
export ORA_CRS_HOME
CRS_HOME=/crs/app/oracle/product/crs_1
export CRS_HOME
export DISPLAY=202.116.193.200:0.0
NLS_LANG='AMERICAN_AMERICA.ZHS16GBK'
export NLS_LANG
LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORA_CRS_HOME/lib:$ORA_CRS_HOME/lib32
export LD_LIBRARY_PATH
PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:$HOME/bin:/usr/bin/X11:/sbin:.
export PATH
PATH=$ORACLE_HOME/bin:$ORA_CRS_HOME/bin:$PATH
export PATH
AIXTHREAD_SCOPE=S
export AIXTHREAD_SCOPE
使用 oracle 用户登录 Xmanager 图形。
#xclock  测试图形
#vi .dtprofile
true
#export ORACLE_BASE=/crs/app/oracle
#export ORACLE_HOME=/crs/app/oracle/product/crs_1
#umask 022
或者
#. ./.profile
进入目录进行安装，注意两边用root 权限执行 rootpre.sh
安装数据库
安装前cluvfy 检查
#./runcluvfy.sh  stage -pre dbinst -n node_a,node_b -r 10gR2 -osdba dba -verbase
启动CRS 进程
#ORA_CRS_HOME/bin/crsctl start crs 启动crs，需要超级用户操作。
或者
#su - oracle
$crsctl start crs
安装数据库
ASM 下管理数据库
#cd $ORACLE_HOME  查看 oracle ASM 实例的 sid
#export $ORACLE_SID=+ASM2
#sqlplus / as sysdba
SQL〉select group_number,name,state,total_mb from v$asm_diskgroup;  //查看磁盘组
GROUP_NUMBER NAME
------------ ------------------------------------------------------------
STATE                    TOTAL_MB
---------------------- ----------
           2 DGSYSTEM
MOUNTED                    256000
           1 DGRECOVER
MOUNTED                    256000
SQL〉select path from v$asm_disk;
在增加磁盘组之前，应改变磁盘的权限
#chown oracle:dba /dev/rdsk/c2t0d3*
# chmod 660 /dev/rdsk/c2t0d3*
SQL>create diskgroup testdg external redundancy disk '/dev/rdsk/c2t0d3s6'; //创建磁盘组
SQL〉select group_number,name,state,total_mb from v$asm_diskgroup;  //查看磁盘
SQL〉alter diskgroup testdg mount;
SQL〉show parameter control_files;





彻底 删除 oralce crs
在安装clusterware时假如出现报错现象，需要重新安装时，必须先清除已经安装的cluserware，否则可能会影响到下次安装。一般情况下，只需要在各节点上依次运行目录$ORA_CRS_HOME/install/下的脚本rootdelete.sh和rootdeinstall.sh即可。
我们也可以采用手工删除：
1、在所有节点停止nodeapps
srvctl stop nodeapps -n nodename
2、删除crs自动启动程序
Sun:
rm /etc/init.d/init.cssd
rm /etc/init.d/init.crs
rm /etc/init.d/init.crsd
rm /etc/init.d/init.evmd
rm /etc/rc3.d/K96init.crs
rm /etc/rc3.d/S96init.crs
rm -Rf /var/opt/oracle/scls_scr
rm -Rf /var/opt/oracle/oprocd
rm /etc/inittab.crs
cp /etc/inittab.orig /etc/inittab
Linux:
rm /etc/oracle/*
rm -f /etc/init.d/init.cssd
rm -f /etc/init.d/init.crs
rm -f /etc/init.d/init.crsd
rm -f /etc/init.d/init.evmd
rm -f /etc/rc2.d/K96init.crs
rm -f /etc/rc2.d/S96init.crs
rm -f /etc/rc3.d/K96init.crs
rm -f /etc/rc3.d/S96init.crs
rm -f /etc/rc5.d/K96init.crs
rm -f /etc/rc5.d/S96init.crs
rm -Rf /etc/oracle/scls_scr
rm -f /etc/inittab.crs
cp /etc/inittab.orig /etc/inittab
HP-UX:
rm /sbin/init.d/init.cssd
rm /sbin/init.d/init.crs
rm /sbin/init.d/init.crsd
rm /sbin/init.d/init.evmd
rm /sbin/rc2.d/K960init.crs
rm /sbin/rc2.d/K001init.crs
rm /sbin/rc3.d/K960init.crs
rm /sbin/rc3.d/S960init.crs
rm -Rf /var/opt/oracle/scls_scr
rm -Rf /var/opt/oracle/oprocd
rm /etc/inittab.crs
cp /etc/inittab.orig /etc/inittab
HP Tru64:
rm /sbin/init.d/init.cssd
rm /sbin/init.d/init.crs
rm /sbin/init.d/init.crsd
rm /sbin/init.d/init.evmd
rm /sbin/rc3.d/K96init.crs
rm /sbin/rc3.d/S96init.crs
rm -Rf /var/opt/oracle/scls_scr
rm -Rf /var/opt/oracle/oprocd
rm /etc/inittab.crs
cp /etc/inittab.orig /etc/inittab
IBM AIX:
#rm /etc/init.cssd
#rm /etc/init.crs
#rm /etc/init.crsd
#rm /etc/init.evmd
#rm /etc/rc.d/rc2.d/K96init.crs
#rm /etc/rc.d/rc2.d/S96init.crs
#rm -Rf /etc/oracle/scls_scr
#rm -Rf /etc/oracle/oprocd
#rm /etc/inittab.crs
#cp /etc/inittab.orig /etc/inittab
3、kill css/crs/evm进程，并reboot节点
ps -ef | grep css/crs/evm
kill -9 processid
4、删除/tmp/.oracle或/var/tmp/.oracle
rm -rf /tmp/.oracle 或rm -rf /var/tmp/.oracle
5、删除ocr.loc
rm -f /etc/oracle/orc.loc
6、用oracle universal installer卸载crs
7、删除crs安装目录
rm -Rf crs_install_dir
8、使用dd清除vote disk和ocr(裸设备)
dd if=/dev/zero of=/dev/rhdisk2 bs=8192 count=262144
dd if=/dev/zero of=/dev/rhdisk4 bs=8192 count=262144
dd if=/dev/zero of=/dev/rhdisk6 bs=8192 count=262144
dd if=/dev/zero of=/dev/rhdisk7 bs=8192 count=262144
dd if=/dev/zero of=/dev/rhdisk8 bs=8192 count=262144
dd if=/dev/zero of=/dev/rhdisk3 bs=8192 count=26214400
dd if=/dev/zero of=/dev/rhdisk5 bs=8192 count=26214400

RAC1：两台P595的第一个分区
主机名：ywa/ywb
oracle用户：oracle
sid：urp/ywk（oracle的.profile中的ORACLE_SID=urp1/2，如需要启停ywk，需要手动export ORACLE_SID=ywk1/2）
RAC1：两台P595的第一个分区
主机名：jwa/jwb
oracle用户：oracle
sid：jwk
启动crs：/crs/app/oracle/product/bin/crsctl start crs
停止crs：/crs/app/oracle/product/bin/crsctl start crs
检查crs状态：/crs/app/oracle/product/bin/crs_stat -t
启动步骤：hacmp--crs--database
停机步骤：database--crs--hacmp




本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u3/105031/showart_2083920.html

kw002007

感谢分享  学习了