vmware6.5安装OracleRAC11gR1 on SuseLinux10sp2

Tiger.wang

vmware6.5.2上创建虚拟机，并在虚拟机安装suselinux10sp2，通过iSCSI Target虚拟共享设备，利用OCFS2管理oracle crs的OracleClusterRegistry和VotingDisk，并利用ASM管理数据库的数据文件，并在之上构建单虚拟机下的ORACLE RAC环境。

本文档为在实际安装总结形成的文档，并再次安装进行验证。
详细文档作为附件可供下载，便于各位下载参考，如文档有不足之处，敬请指正。


所需的软件：（需自己下载）
1.      虚拟机软件

VMware Workstation
Version:     6.5.2 build-156735
2.      OS软件

SUSE Linux Enterprise Server
Version:10 sp2
3.      Oracle软件

DB：                11gR1 for X86
ClusterWare:    11gR1 for X86
ASMLib:   
                         oracleasm-support-2.1.3-1.SLE10.i386.rpm
                         oracleasm-2.6.16.60-0.21-default-2.0.4-1.SLE10.i586.rpm
                         oracleasmlib-2.0.4-1.SLE10.i386.rpm

具体安装步骤已经整理成pdf文档，配图
由于整理完文档之后图已经删了，所以帖子里就不再整理图片了
pdf压缩文档请点击本人的个人空间->软件，即可下载。

[ 本帖最后由 Tiger.wang 于 2009-8-13 23:03 编辑 ]

Tiger.wang

二.        创建虚拟机：
虚拟机内存：500M（推荐设为1G）
虚拟机空间需求：
                suse10sp2                                2.2G
                oracle clusterware                556M
                oracle                                        3.43G
                tmp                                                500M
                CRS数据                                        120M
                OracleDB数据                        1.6G
swap                                        (最少1530M)
实际空间需要：（12G）
                /分区：使用的2.2G+0.6G+3.5G+0.5G=6.8G＋备用的1.6G
                Swap分区                                1.6G
                其他分区（CRS+DB）        2G
                网卡：再为虚拟机创建一个虚拟网卡，即虚拟机有2块网卡。
备用的1.6G不够OracleDB安装软件需要的空间，需要使用vmware的主机共享文件夹来存放用来安装的解压后的软件（共享文件夹不要带空格），如不希望使用共享文件夹，那么创建虚拟机的时候要再增加500M或1G给/分区。

Tiger.wang

三.        虚拟机OS安装：
1.        安装SLES10sp2：
简要步骤：
1.1.        语言和防火墙：
        语言选择：建议选择英文；
        防火墙和ipv6建议不选；
1.2.        分区和软件包：

        分区选择：/分区8.4G和swap1.6G分配后，剩余的2G待创建iSCSI盘时再手工fdisk；
分区时/分区创建为主分区，其他空间均建立在扩展分区的逻辑分区上。
        安装过程中需确认选择的安装包：
安装“C/C++Compiler and Tools”软件包、ORARUN软件包；
选择完安装包后需选定autocheck选项。
        检查11gR1所需的软件包都要安装；

11gR1所需程序包版本（或更高）：
  所需内核版本：2.6.18及以上
gcc-4.1.0                                               
  libaio-0.3.104
  libaio-devel-0.3.10104       
  libgcc-4.1.0
  libstdc++-4.1.0
  libstdc++-devel-4.1.0               
  compat-libstdc++-5.0.7
  unixODBC-2.2.11
  unixODBC-devel-2.2.11
  sysstat-6.0.2  make-3.80
  binutils-2.16.91.0.5
  libelf-0.8.5                                       
黑色字体安装包包含在基础包内,蓝色字体安装包含在c/c++ Compiler and Tools里,红色字体安装包需要单独增加!!

        OCFS2文件系统包
              ocfs2console、ocfs2-tools、ocfs2-tools-devel
        iSCSI安装包
              iscsitarget、open-iscsi、yast2-iscsi-client、yast2-iscsi-server；
        其他需要的安装包：
              openmotif

[ 本帖最后由 Tiger.wang 于 2009-8-13 22:52 编辑 ]

Tiger.wang

1.3.        网络配置：

             Eth0:10.1.1.78/255.255.255.0                 GateWay:10.1.1.254
                    Eth1:192.168.0.78/255.255.255.0        GateWay:10.1.1.254
        /etc/hosts文件应该包含如下条目：

127.0.0.1       localhost
10.1.1.78       suse10sp2
192.168.0.78    priv-suse10sp2
10.1.1.178      vip-suse10sp2

                安装完成后，需手工添加vip-suse10sp2条目，另检查主机名不在127.0.0.1条目里；
1.4.        安装vmwaretools：
安装SUSELinux10sp2后，虚拟机菜单选择安装vmwaretools，然后进入虚拟光驱/media/cdrom，执行rpm包安装：
rpm -ivh VMwareTools-7.8.5-156735.i386.rpm
      提示成功后,执行/usr/bin/vmware-config-tools.pl,之后均可按默认,直接回车即可(第三个选择界面,可改变屏显比例,建议800*600)。

[ 本帖最后由 Tiger.wang 于 2009-8-13 22:54 编辑 ]

Tiger.wang

2.3.        配置节点信任关系：
        oracle用户执行：
oracle@suse10sp2:~>cd                （回到oracle根目录）
oracle@suse10sp2:~>ssh-keygen -t dsa
（一直回车不需填写任何内容）
oracle@suse10sp2:~>cp -v .ssh/id_dsa.pub .ssh/authorized_keys
（注意oracle根目录/opt/oracle的权限应为755，不能随意更改）
执行ssh suse10sp2和ssh priv-suse10sp2
第一次执行需要yes确认，再次执行应不需再输入密码即可。
        root用户执行：
编辑/etc/hosts.equiv文件，将可信节点信息加入到文件中
suse10sp2:~ # more /etc/hosts.equiv
+suse10sp2 oracle
+priv-suse10sp2 oracle
        确认rsh的路径：
suse10sp2:~ # which rsh
/usr/bin/rsh
2.4.        配置iSCSI目标服务：
以root进入SUSElinux的图形界面：
        打开terminal终端界面，用fdisk将剩余2G划分为/dev/sda6;
        YaST控制中心->用filter过滤scsi->点击进入iSCSI Target配置如下：
Service 选项卡
              将服务设置为引导时启动（when booting）
         Targets 选项卡
              单击 Edit
              LUN               （组成一个数字，第一个目标从 0 开始）
              Path                /dev/sda6    （保留的分区的路径）
              接下来，“no-auth”，接下来，完成
              单击 Yes 重新加载配置
        YaST控制中心->用filter过滤scsi->点击进入iSCSI initiator配置如下：
Service 选项卡
                   *     service start when booting
         Discover Targets 选项卡
                   单击 Discovery
         针对目标填写实际的 IP 地址，接下来
         高亮显示 IP 地址
                   单击 Login    no-auth 是默认值
         Connected Targets 选项卡
                   单击 Toggle Start Up
         完成
        iSCSI目标分区：
执行iSCSI initiator后，重启后可以在fdisk -l看到/dev/sdb;
执行fdisk /dev/sdb,将其分为/dev/sdb1 200M、/dev/sdb2 1.8G
2.5.        配置OCFS2：
作为root用户，执行以下命令:
# ocfs2console &
    Cluster
            选择“Configure Nodes”   在客户端上添加节点
                    suse10sp2  10.1.1.78
            单击 close
    Cluster
            选择“Propogate Configuration”
    Tasks
            选择“Format”
            应该如此处所示
                 available devices :    /dev/sdb1    unknown
                 volume label    :    oracle
                 cluster size       :  Auto
                 number of node slots    :  4
                 Blocksize            :  Auto
            单击 OK，格式化设备，完成退出
                （这可能需要几分钟时间）
说明：设备为2.4节划分的/dev/sdb1分区（200M）
#mkdir /ocfs2
在/etc/fstab里增加一条：
/dev/sdb1        /ocfs2 ocfs2        _netdev,datavolume,nointr        0        0
用ocfs2console & 挂载/ocfs2,options添_netdev, datavolume,nointr
(-o datavolume需要加，否则安装CRS时执行root.sh会提示错误信息“PROT-1: Failed to initialize ocrconfig”)
# /etc/init.d/o2cb configure
选择“y”可在引导时加载 O2CB 驱动程序
为其余选项选择默认值，这将自动启动集群服务
#chown -R oracleinstall /ocfs2
重启检查/ocfs2是否已经自动挂载！并检查属于oracle：oinstall。
2.6.        安装oracleasm：
        下载asm rpm安装包：
                oracleasm-support-2.1.3-1.SLE10.i386.rpm
                oracleasm-2.6.16.60-0.21-default-2.0.4-1.SLE10.i586.rpm
                oracleasmlib-2.0.4-1.SLE10.i386.rpm
                （需要根据linux版本以及内核来选择适当的asm安装包）
                安装rpm包：
                rpm -ivh ******.rpm
                配置asm：
                /etc/init.d/oracleasm configure
                出现配置屏幕，依次填写：用户oracle、组dba、y、y；
                /etc/init.d/oracleasm createdisk oradata /dev/sdb2
        /etc/init.d/oracleasm scandisks
        如果有其他节点，需要在其他节点执行；
        /etc/init.d/oracleasm listdisks
        可查看已经创建asm盘。

Tiger.wang

四.        Oracle ClusterWare软件安装：
        Clusterware软件安装目录要和db软件目录分开，示例中的crs软件安装在/opt/crs目录，db软件安装在/opt/oracle目录。
建议之后的oracle安装使用英文安装，中文环境安装可能会有问题，之后的安装均以oracle用户登录。
        上传并解压11gR1的clusterware软件安装包；
        更改oracle用户环境变量：
unset ORA_CRS_HOME
unset ORACLE_HOME
unset ORA_NLS33
unset TNS_ADMIN
unset LD_ASSUME_KERNEL
xhost +
        安装clusterware软件：
        ./runInstaller -ignoresysprereqs &
        安装过程中注意事项：
语言选择项：使用英语，可加入中文支持；
Cluster Name: suse10sp2_cluster；名字可自己指定
Public Node Name:suse10sp2
Private Node Name:priv-suse10sp2
virtualHostName：vip-suse10sp2
节点信息需要按照/etc/hosts内的设置进行填写。
Specify Network Interface Usage:
修改suse10sp2为public

Oracle Cluster Registry: (External Redundancy)
/ocfs2/ora_crs_data/ocrfile

Voting Disk：(External Redundancy)
/ocfs2/ora_crs_data/votingfile

需要将此两个文件存放到OCFS2文件系统挂载点，即/ocfs2，可增加子目录。
按照屏幕要求执行相关目录下的orainstRoot.sh和root.sh；
执行root.sh时，如提示vipca运行失败：
        按下面的内容修改$ORA_CRS_HOME/bin/vipca可执行程序，然后单独执行./vipca再创建vip
        JREDIR=/opt/crs/oracle/product/11gR1/crs/jdk/jre/＃把最后/的去掉
        JREDIR=/opt/crs/oracle/product/11gR1/crs/jdk/jre  #修改后

        LD_ASSUME_KERNEL=2.4.19                       
        export LD_ASSUME_KERNEL              
fi                                                                                 ＃找到这部分，下边加一行
                unset LD_ASSUME_KERNEL
        安装后，删除临时目录下的压缩软件包和解压的目录，否则虚拟机空间会不足。

Tiger.wang

五、Oracle DBSoftware安装：
        上传软件包到主机共享文件夹，并进行解压；
        执行安装：
./runInstaller -ignoresysprereqs &
        安装过程中注意事项:
选择只安装软件,不在此时创建库!!

Tiger.wang

六.        Oracle DB配置和创建：
1.        Netca配置:
Oracle用户执行netca;
1.1.        选择“Cluster configuration”

1.2.        选择所有节点:

1.3.        配置监听程序

接下来,按默认选择即可,协议选择TCP,端口1521;
提示是否在增加监听程序时选择NO;
1.4.        选择命名方式:

下一步选择命名方式时, 选择“Local Naming”,然后完成配置.

Tiger.wang

七.        Oracle安装检查和管理：
1.        Crs管理:
1.1.        查看crs状态：
        $ORA_CRS_HOME/bin/crs_stat -t
        或执行ps -ef|grep d.bin
        应该有evmd.bin、crsd.bin 、ocssd.bin三个进程；
1.2.        检查crs：
        $ORA_CRS_HOME/bin/crsctl check crs
1.3.        启动crs 资源：
        $ORA_CRS_HOME/bin/crsctl start resources
1.4.        启动crs：
        $ORA_CRS_HOME/bin/crsctl start crs
1.5.        停止crs：
        $ORA_CRS_HOME/bin/crsctl stop crs
2.        ASM管理:
2.1.        登录ASM实例:
export ORACLE_SID=+ASM1                #+ASM1为ASM实例名
sqlplus / as sysdba
2.2.        mount磁盘组:
sql> alter diskgroup ORA_DATA_ASM mount;
其中ORA_DATA_ASM为磁盘组名
2.3.        ASM服务状态检查:
srvctl status asm -n suse10sp2
suse10sp2为节点名.
3.        RAC管理:
3.1.        检查节点应用服务状态
srvctl status nodeapps -n suse10sp2
suse10sp2为节点名.
3.2.        检查集群实例状态:
srvctl status database -d dbrac
3.3.        停止RAC数据库:
$ emctl stop dbconsole
$ srvctl stop instance -d testdb -i testdb1 -o immediate
$ srvctl stop asm -n rac1  
$ srvctl stop nodeapps -n rac1
#/etc/init.d/init.crs stop
第一步停止 Oracle 实例。
实例（和相关服务）关闭后，关闭 ASM 实例。
最后，关闭节点应用程序（虚拟 IP、GSD、TNS 监听器和 ONS）
3.4.        启动RAC数据库:
#/etc/init.d/init.crs start  
$ srvctl start nodeapps -n rac1
$ srvctl start asm -n suse10sp2
$ srvctl start instance -d testdb -i testdb1
$ emctl start dbconsole
第一步启动节点应用程序（虚拟 IP、GSD、TNS 监听器和 ONS）。
成功启动节点应用程序后，启动 ASM 实例。
最后，启动 Oracle 实例（和相关服务）以及企业管理器数据库控制台。
(cluster 如果已经是配置成auto的 后面的步骤不需要执行了，系统自己会自动全部重起，起的时间比较长大约5分钟，ps -eaf|grep oracle 查看进程检查)