Solaris9 + Sun Cluster3.1 + Oracle9i + HA 安装手册

coollinn

Solaris9 + Sun Cluster3.1 + Oracle9i + HA

一、安装操作系统：

在两个节点机上安装操作系统solaris，打上推荐补丁。

swap:是内存的2倍
/globaldevices:512M
/metadb: 50M （该分区最好不用添加名字，只是分区就好了）
/ 所剩所有空间

确认local-mac-address值为true
# /usr/sbin/eeprom local-mac-address?=true
在/etc/default/mpathd 文件中，TRACK_INTERFACES_ONLY_WITH_GROUPS
的值必须为yes。

将Sun Cluster 所需的修补程序复制到一个目录中。
该目录必须位于所有节点均可访问的文件系统上。修补程序的缺省目录为
/var/cluster/patches/ 或/var/patches/

3310用：
在文件/kernel/drv/sd.conf文件中加入如下几行：(target＝？看实际情况,看有几条lun映射  注意：不能用空格和回车 用tab 和o)
name="sd" class="scsi" target=0 lun=0;
name="sd" class="scsi" target=0 lun=1;
name="sd" class="scsi" target=0 lun=2;
name="sd" class="scsi" target=0 lun=3;
name="sd" class="scsi" target=0 lun=4;

改完后用devfsadm命令刷新配置
用format命令查看是否加载上磁盘

二、Sun Cluster软件安装：

1．在每个节点机上编辑/.profile文件（root用户根下）

PATH=$PATH:/usr/cluster/bin:/usr/sbin
MANPATH=$MANPATH:/usr/cluster/man:/usr/share/man
export PATH MANPATH
2．在每个节点机上编辑.rhosts
+
3．在每个节点机上编辑/etc/default/login文件
#CONSOLE=/dev/console
开启FTP用户
/etc/ftpd/ftpusers   注释掉需要登录ftp的用户名就OK了
4．在每个节点机上编辑/etc/hosts文件，将对方节点，逻辑主机名的对应ip写入
比如：
192.168.20.201    cluster1   loghost
192.168.20.202    cluster2
192.168.20.203    oracleip

5. 安装Cluster3.1软件
先安装
/cdrom/cdrom0/solaris/Product/sun_web_console/2.1/setup
然后 /cdrom/cdrom0/solaris/Product/sun_cluster/solaris9/Tools/scinstall

a. 建立一个全新的cluster节点
b. Establish a new cluster
c. 输入集群名字
d. 输入集群中另一台节点的机器名
e. 不使用DES认证
f. 使用默认的集群传输私网地址
g. 接受默认的全局设备文件系统
h. 接受装完后自动重起

6．向集群中添加另一个节点

a．运行SunCluster_3.0/Tools/scinstall
b．Add this machine as a node in an established cluster
c．输入主节点的机器名
d．接受默认的全局设备文件系统
e．接受装完后自动重起
7. 打上cluster的补丁（如果有补丁）
8．配置网络时钟同步协议 (如果需要)
修改每个节点机的/etc/inet/ntp.conf,将不存在的节点删除，即将以下行删除
peer clusternode3-priv
peer clusternode4-priv
peer clusternode5-priv
peer clusternode6-priv
peer clusternode7-priv
peer clusternode8-priv


运行scstat –q,可以看到一共有3票；运行scdidadm –L，可以看到所有的DID设备；运行scconf –p，可以看到集群状态、节点名、网卡配置、quorum设备状态。
运行scshutdown –y –g 15,以后关的机器先启为原则测试cluster时候能正常启动。

可以运行scheck检查cluster安装是否有错


# metadb -a -f -c2 c0t0d0s7（该盘为阵列的投票磁盘）

下面开始cluster配置过程

首先配置共享磁盘集(diskset)

在node1上设置可以使用该diskset的主机
# metaset -s oraset -a -h cluster1 cluster2

# scdidadm -L 查看3310的LUN的device id（这里假设为d3，注意不要把d3和sds中的d3混淆）
/dev/did/rdsk/d3（为需要安装oracle的磁盘）

把d3(did)加入到diskset中
# metaset -s oraset -a /dev/did/rdsk/d3

使node1接管该diskset
# metaset -s oraset -t

创建sds的卷
# metainit oraset/d0 1 1 /dev/did/rdsk/d3s0
# metaset
# scstat -D 看看磁盘集是否正确
# newfs /dev/md/oraset/dsk/d0 （创建文件系统）

——————————————————————————————————————————————————
创建cluster file system(在两边做）
# mkdir /app
修改/etc/vfstab文件
/dev/md/oraset/dsk/d0 /dev/md/oraset/rdsk/d0 /app ufs 2 no logging

在节点1上做
# sccheck 如果没有报错，那么继续向下走
# mount /app
# df -k看看卷是否已经上来

使node2接管该diskset
# metaset -s oraset -t
mount /app
在node2上也df -k，如果正常，那么/app也在node2上mount

———————————————————————————————————————————————————
创建仲裁设备，在node1上做
# scdidadm -L
这里假设3310的200mb的LUN为/dev/did/rdsk/d4
# scconf -a -q globaldev=d4
# scconf -c -q reset
# scstat -q 查看设置是否正确
这步用scsetup也可以设置

————————————————————————————————————————————————————
创建基本的资源组和逻辑IP地址，在两边做
在/etc/hosts文件中添加
192.168.20.203    oracleip   前面已经加过
这个cluster3是为oracle做准备的。
首先在node1上创建一个新的空的oracle资源组
# scrgadm -a -g oracle -h cluster1,cluster2

添加逻辑ip
# scrgadm -a –L -j oracleip -g oracle -l cluster3
# scstat -g来查看一下
注：cluster3对应的ip就是逻辑ip

同样这也可以通过scsetup命令来设置
—————————————————————————————————————————————————————

开始oracle的安装两边做
先在本机另外一块磁盘上创建文件系统
Newfs /dev/c1t0d0
然后把这个磁盘挂载到 /oracle上 (可通过修改/etc/vfstab文件实现自动挂载)
修改其权限为oracle:dba

# groupadd dba
# useradd -g dba -d /oracle -s /usr/bin/sh oracle
# passwd oracle

配置操作系统信号量（2台机器同步操作）：编辑 /etc/system文件，加入以下参数
set shmsys:shminfo_shmmax=4294967295
set shmsys:shminfo_shmmin=1
set shmsys:shminfo_shmmni=100
set shmsys:shminfo_shmseg=10
set semsys:seminfo_semmni=100
set semsys:seminfo_semmsl=256
set semsys:seminfo_semmns=400

修改/app/oradb/.profile文件
添加如下内容
ORACLE_BASE=/oracle  
ORACLE_HOME=$ORACLE_BASE/product/9.2.0.1
ORACLE_SID=db
NLS_LANG=American_america.zhs16gbk
PATH=$PATH:$ORACLE_HOME/bin
umask 022
export ORACLE_BASE ORACLE_HOME ORACLE_SID NLS_LANG PATH
插入oracle安装光盘
# oraInstaller 安装提示安装(需要设置DISPLAY=192.168.100.220:0.0该地址为你的本机即安装电脑的地址)

#oemapp console
建立listener.ora、tnsnames.ora文件在其中修改cluster1为192.168.100.203
测试listener

————————————————————————————————————————————————————————


用scinstall选择安装oracle资源类型（agent盘中 可用菜单命令安装）
# scrgadm -a -t SUNW.oracle_server
# scrgadm -a -t SUNW.oracle_listener
# scrgadm –a –t SUNW.HAStoragePlus2
创建oracle资源
# scrgadm -a -j oracle_server -g orarg \
-t SUNW.oracle_server \
-x Connect_string=scott/tiger \
-x ORACLE_SID=db \
-x ORACLE_HOME=/oracle/product/9.2.0.1 \
-x Alert_log_file=/oracle/admin/db/bdump/alert_db.log

# scrgadm -a -j oracle_listener -g oracle \
-t SUNW.oracle_listener \
-x LISTENER_NAME=LISTENER \
-x ORACLE_HOME=/oracle/product/9.2.0.1

启动oracle资源组
# scswitch -Z -g oracle

# scstat -g确认资源正常online

本人认为Cluster安装好后，资源注册还是用scsetup命令比较好而且快一些。


Sun Cluster的日常维护和管理：
1. 显示sun cluster 发行版本
#scinstall –pv
2. 显示已配置的资源类型、资源组和资源
#scrgadm –p
3. 检查集群组件状态及配置
#scstat –p
#scconf –p
#scrgadm –pv(v)
4. 关闭集群
#scshutdown –g 0 –y
此命令将每个节点都关闭到OK状态，可用boot命令启动，然后用scstat –n状态件则节点状态。
5．关闭单个节点
#scswitch –s –h node2
#shutdown –g 0 –y
6．将某一节点置为维护状态
#scconf –c –q globaldev=quorumdivice(dx),maintstate
7. 手工修改节点quoroum的投票数
a. ok> boot –x
b. #cd /etc/cluster/ccr
c. #vi infrastructure
cluster.nodes.1.name torrey
cluster.nodes.1.properties.quorum_vote 3
d. #cd /etc/cluster/ccr
e. #/usr/cluster/lib/sc/ccradm –I /etc/cluster/ccr/infrastructure –o
f. #reboot
8. 删资源组和disk group
a. 停资源：scswitch –n –j resourcename
b. 删资源：scrgadm –r –j resourcename
c. 删资源组：scrgadm –r –g resourcegroup
d. 删dg：vxdg destroy dgname
9. 删除 cluster软件
g. ok>boot –x （启动非集群模式）
h. #pkgrm clusterpkgname
i. rm –r /var/cluster /usr/cluster /etc/cluster
j. vi /etc/vfstab,将原来所有的dis参数恢复，重建/global/devices
k. rm /etc/ntp.conf
l. vi /etc/nsswitch.conf,除去cluster选项
m. rm –r /dev/did
n. rm –f /devices/pseudo/did*
o. rm /etc/path_to_inst
p. reboot -- -ra




配置IPMP
ce0 ce4
root@rac1 # cat /etc/hosts
127.0.0.1       localhost
192.168.4.191   rac1    loghost a.b
192.168.4.192   rac2
192.168.4.193   rac1-ce0-test
192.168.4.194   rac1-ce4-test
root@rac1 # cat /etc/hostname.ce0
rac1  group therapy up
addif rac1-ce0-test -failover deprecated up
/etc/hostname.ce4
root@rac1 #  cat /etc/hostname.ce4
rac1-ce4-test group therapy -failover deprecated up
root@rac2 #  cat /etc/hosts
#
# Internet host table
#
127.0.0.1       localhost
192.168.4.192   rac2    loghost a.b
192.168.4.191   rac1
192.168.4.195   rac2-ce0-test
192.168.4.196   rac2-ce4-test
root@rac2 # cat /etc/hostname.ce0
rac2 group therapy up
addif rac2-ce0-test -failover deprecated up
/etc/hostname.ce4
root@rac2 # cat /etc/hostname.ce4
rac2-ce4-test group therapy -failover deprecated up

以下是磁盘组的配置实例命令

Metadb –a –f –c 2 c1tod0s7
Metadb
Metaset –s oarset –a –h cluster-1 cluster-2
Metaset
Scdidadm –r 创建路径
Metaset –s oraset –a /dev/did/rdsk/d8
Metainit oraset/d0 1 1 /dev/did/rdsk/d8s0
Newfs /dev/md/oraset/rdsk/d0


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/10718/showart_85011.html