vmware6.5安装OracleRAC11gR1 on SuseLinux10sp2

Tiger.wang

vmware6.5.2上创建虚拟机，并在虚拟机安装suselinux10sp2，通过iSCSI Target虚拟共享设备，利用OCFS2管理oracle crs的OracleClusterRegistry和VotingDisk，并利用ASM管理数据库的数据文件，并在之上构建单虚拟机下的ORACLE RAC环境。

本文档为在实际安装总结形成的文档，并再次安装进行验证。
详细文档作为附件可供下载，便于各位下载参考，如文档有不足之处，敬请指正。


所需的软件：（需自己下载）
1.      虚拟机软件

VMware Workstation
Version:     6.5.2 build-156735
2.      OS软件

SUSE Linux Enterprise Server
Version:10 sp2
3.      Oracle软件

DB：                11gR1 for X86
ClusterWare:    11gR1 for X86
ASMLib:   
                         oracleasm-support-2.1.3-1.SLE10.i386.rpm
                         oracleasm-2.6.16.60-0.21-default-2.0.4-1.SLE10.i586.rpm
                         oracleasmlib-2.0.4-1.SLE10.i386.rpm

具体安装步骤已经整理成pdf文档，配图
由于整理完文档之后图已经删了，所以帖子里就不再整理图片了
pdf压缩文档请点击本人的个人空间->软件，即可下载。

[ 本帖最后由 Tiger.wang 于 2009-8-13 23:03 编辑 ]

Tiger.wang

二.        创建虚拟机：
虚拟机内存：500M（推荐设为1G）
虚拟机空间需求：
                suse10sp2                                2.2G
                oracle clusterware                556M
                oracle                                        3.43G
                tmp                                                500M
                CRS数据                                        120M
                OracleDB数据                        1.6G
swap                                        (最少1530M)
实际空间需要：（12G）
                /分区：使用的2.2G+0.6G+3.5G+0.5G=6.8G＋备用的1.6G
                Swap分区                                1.6G
                其他分区（CRS+DB）        2G
                网卡：再为虚拟机创建一个虚拟网卡，即虚拟机有2块网卡。
备用的1.6G不够OracleDB安装软件需要的空间，需要使用vmware的主机共享文件夹来存放用来安装的解压后的软件（共享文件夹不要带空格），如不希望使用共享文件夹，那么创建虚拟机的时候要再增加500M或1G给/分区。

Tiger.wang

三.        虚拟机OS安装：
1.        安装SLES10sp2：
简要步骤：
1.1.        语言和防火墙：
        语言选择：建议选择英文；
        防火墙和ipv6建议不选；
1.2.        分区和软件包：

        分区选择：/分区8.4G和swap1.6G分配后，剩余的2G待创建iSCSI盘时再手工fdisk；
分区时/分区创建为主分区，其他空间均建立在扩展分区的逻辑分区上。
        安装过程中需确认选择的安装包：
安装“C/C++Compiler and Tools”软件包、ORARUN软件包；
选择完安装包后需选定autocheck选项。
        检查11gR1所需的软件包都要安装；

11gR1所需程序包版本（或更高）：
  所需内核版本：2.6.18及以上
gcc-4.1.0                                               
  libaio-0.3.104
  libaio-devel-0.3.10104       
  libgcc-4.1.0
  libstdc++-4.1.0
  libstdc++-devel-4.1.0               
  compat-libstdc++-5.0.7
  unixODBC-2.2.11
  unixODBC-devel-2.2.11
  sysstat-6.0.2  make-3.80
  binutils-2.16.91.0.5
  libelf-0.8.5                                       
黑色字体安装包包含在基础包内,蓝色字体安装包含在c/c++ Compiler and Tools里,红色字体安装包需要单独增加!!

        OCFS2文件系统包
              ocfs2console、ocfs2-tools、ocfs2-tools-devel
        iSCSI安装包
              iscsitarget、open-iscsi、yast2-iscsi-client、yast2-iscsi-server；
        其他需要的安装包：
              openmotif

[ 本帖最后由 Tiger.wang 于 2009-8-13 22:52 编辑 ]

Tiger.wang

1.3.        网络配置：

             Eth0:10.1.1.78/255.255.255.0                 GateWay:10.1.1.254
                    Eth1:192.168.0.78/255.255.255.0        GateWay:10.1.1.254
        /etc/hosts文件应该包含如下条目：

127.0.0.1       localhost
10.1.1.78       suse10sp2
192.168.0.78    priv-suse10sp2
10.1.1.178      vip-suse10sp2

                安装完成后，需手工添加vip-suse10sp2条目，另检查主机名不在127.0.0.1条目里；
1.4.        安装vmwaretools：
安装SUSELinux10sp2后，虚拟机菜单选择安装vmwaretools，然后进入虚拟光驱/media/cdrom，执行rpm包安装：
rpm -ivh VMwareTools-7.8.5-156735.i386.rpm
      提示成功后,执行/usr/bin/vmware-config-tools.pl,之后均可按默认,直接回车即可(第三个选择界面,可改变屏显比例,建议800*600)。

[ 本帖最后由 Tiger.wang 于 2009-8-13 22:54 编辑 ]

Tiger.wang

2.        Linux配置for Oracle：
2.1.        内核参数配置：
Root用户编辑/etc/sysctl.conf
kernel.core_uses_pid                 =         1
fs.file-max                                        =        327679
kernel.msgmni                                =        2878
kernel.msgmax                                =        8192
kernel.msgmnb                                =        65536
kernel.sem                                        =        250 32000 100 142
kernel.shmmni                                =        4096
kernel.shmall                                =        3279547
kernel.sysrq                                        =        1
net.core.rmem_default        =        262144
net.core.rmem_max                =        2097152
net.core.wmem_default        =        262144
net.core.wmem_max                =        262144
fs.aio-max-nr                                =        3145728
net.ipv4.ip_local_port_range=1024 65000
kernel.shmmax                                =        536934400

root用户执行：
sysctl -p
2.2.        oracle用户环境配置
当orarun软件包安装时，会自动建立名为oracle的用户，和一个oinstall组。
我们只需要将该用户设置为enable，把shell从/bin/false改为/bin/bash,并为oracle设置密码(passwd oracle)。而且orarun软件包将ORACLE_HOME文件夹自动生成，减少了很多麻烦。
        检查文件 /etc/security/limits.conf，应有以下内容
    （suse10安装orarun包会自动设置）
oracle    soft    nproc     2047
oracle    hard    nproc     16384
oracle    soft    nofile    1024
oracle    hard    nofile    65536
        检查文件/etc/pam.d/login 文件，应有以下内容
    （suse10安装orarun包会自动设置）
session required  pam_limits.so
        编辑/etc/profile,末尾加入以下内容
if [ $USER =  "oracle" ]; then
    if [ $SHELL = "/bin/ksh" ];  then
        ulimit -u 16384
        ulimit -n 65536
    else
        ulimit -u 16384 -n 65536
    fi
    umask 022
fi
        编辑oracle用户的.bash_profile文件，增加oracle环境变量：
su - oracle
vi .bash_profile:
# Get the aliases and functions
if [ -f ~/.bashrc ]; then
. ~/.bashrc
fi
export ORACLE_BASE=/opt/oracle
export ORACLE_HOME=$ORACLE_BASE/product/11gR1/db
export ORA_CRS_HOME=/opt/crs/oracle/product/11gR1/crs
export ORACLE_SID=dbrac1
export ORACLE_TERM=xterm
export TNS_ADMIN=$ORACLE_HOME/network/admin
export ORA_NLS33=$ORACLE_HOME/ocommon/nls/admin/data
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:/usr/local/lib
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}ORACLE_HOME/oracm/lib
PATH=$PATHHOME/binORACLE_HOME/binORA_CRS_HOME/bin:/sbin
export PATH

export TEMP=/tmp
export TMPDIR=/tmp
并以root用户修改/etc/profile.d中的oracle.sh中的相关环境变量（ORACLE_HOME、ORA_CRS_HOME、ORACLE_SID），两者保持一致。
创建/opt/crs目录（属主oracle、属组oinstall）
#mkdir /opt/crs
#chown -R /opt/crs

Tiger.wang

2.3.        配置节点信任关系：
        oracle用户执行：
oracle@suse10sp2:~>cd                （回到oracle根目录）
oracle@suse10sp2:~>ssh-keygen -t dsa
（一直回车不需填写任何内容）
oracle@suse10sp2:~>cp -v .ssh/id_dsa.pub .ssh/authorized_keys
（注意oracle根目录/opt/oracle的权限应为755，不能随意更改）
执行ssh suse10sp2和ssh priv-suse10sp2
第一次执行需要yes确认，再次执行应不需再输入密码即可。
        root用户执行：
编辑/etc/hosts.equiv文件，将可信节点信息加入到文件中
suse10sp2:~ # more /etc/hosts.equiv
+suse10sp2 oracle
+priv-suse10sp2 oracle
        确认rsh的路径：
suse10sp2:~ # which rsh
/usr/bin/rsh
2.4.        配置iSCSI目标服务：
以root进入SUSElinux的图形界面：
        打开terminal终端界面，用fdisk将剩余2G划分为/dev/sda6;
        YaST控制中心->用filter过滤scsi->点击进入iSCSI Target配置如下：
Service 选项卡
              将服务设置为引导时启动（when booting）
         Targets 选项卡
              单击 Edit
              LUN               （组成一个数字，第一个目标从 0 开始）
              Path                /dev/sda6    （保留的分区的路径）
              接下来，“no-auth”，接下来，完成
              单击 Yes 重新加载配置
        YaST控制中心->用filter过滤scsi->点击进入iSCSI initiator配置如下：
Service 选项卡
                   *     service start when booting
         Discover Targets 选项卡
                   单击 Discovery
         针对目标填写实际的 IP 地址，接下来
         高亮显示 IP 地址
                   单击 Login    no-auth 是默认值
         Connected Targets 选项卡
                   单击 Toggle Start Up
         完成
        iSCSI目标分区：
执行iSCSI initiator后，重启后可以在fdisk -l看到/dev/sdb;
执行fdisk /dev/sdb,将其分为/dev/sdb1 200M、/dev/sdb2 1.8G
2.5.        配置OCFS2：
作为root用户，执行以下命令:
# ocfs2console &
    Cluster
            选择“Configure Nodes”   在客户端上添加节点
                    suse10sp2  10.1.1.78
            单击 close
    Cluster
            选择“Propogate Configuration”
    Tasks
            选择“Format”
            应该如此处所示
                 available devices :    /dev/sdb1    unknown
                 volume label    :    oracle
                 cluster size       :  Auto
                 number of node slots    :  4
                 Blocksize            :  Auto
            单击 OK，格式化设备，完成退出
                （这可能需要几分钟时间）
说明：设备为2.4节划分的/dev/sdb1分区（200M）
#mkdir /ocfs2
在/etc/fstab里增加一条：
/dev/sdb1        /ocfs2 ocfs2        _netdev,datavolume,nointr        0        0
用ocfs2console & 挂载/ocfs2,options添_netdev, datavolume,nointr
(-o datavolume需要加，否则安装CRS时执行root.sh会提示错误信息“PROT-1: Failed to initialize ocrconfig”)
# /etc/init.d/o2cb configure
选择“y”可在引导时加载 O2CB 驱动程序
为其余选项选择默认值，这将自动启动集群服务
#chown -R oracleinstall /ocfs2
重启检查/ocfs2是否已经自动挂载！并检查属于oracle：oinstall。
2.6.        安装oracleasm：
        下载asm rpm安装包：
                oracleasm-support-2.1.3-1.SLE10.i386.rpm
                oracleasm-2.6.16.60-0.21-default-2.0.4-1.SLE10.i586.rpm
                oracleasmlib-2.0.4-1.SLE10.i386.rpm
                （需要根据linux版本以及内核来选择适当的asm安装包）
                安装rpm包：
                rpm -ivh ******.rpm
                配置asm：
                /etc/init.d/oracleasm configure
                出现配置屏幕，依次填写：用户oracle、组dba、y、y；
                /etc/init.d/oracleasm createdisk oradata /dev/sdb2
        /etc/init.d/oracleasm scandisks
        如果有其他节点，需要在其他节点执行；
        /etc/init.d/oracleasm listdisks
        可查看已经创建asm盘。

Tiger.wang

四.        Oracle ClusterWare软件安装：
        Clusterware软件安装目录要和db软件目录分开，示例中的crs软件安装在/opt/crs目录，db软件安装在/opt/oracle目录。
建议之后的oracle安装使用英文安装，中文环境安装可能会有问题，之后的安装均以oracle用户登录。
        上传并解压11gR1的clusterware软件安装包；
        更改oracle用户环境变量：
unset ORA_CRS_HOME
unset ORACLE_HOME
unset ORA_NLS33
unset TNS_ADMIN
unset LD_ASSUME_KERNEL
xhost +
        安装clusterware软件：
        ./runInstaller -ignoresysprereqs &
        安装过程中注意事项：
语言选择项：使用英语，可加入中文支持；
Cluster Name: suse10sp2_cluster；名字可自己指定
Public Node Name:suse10sp2
Private Node Name:priv-suse10sp2
virtualHostName：vip-suse10sp2
节点信息需要按照/etc/hosts内的设置进行填写。
Specify Network Interface Usage:
修改suse10sp2为public

Oracle Cluster Registry: (External Redundancy)
/ocfs2/ora_crs_data/ocrfile

Voting Disk：(External Redundancy)
/ocfs2/ora_crs_data/votingfile

需要将此两个文件存放到OCFS2文件系统挂载点，即/ocfs2，可增加子目录。
按照屏幕要求执行相关目录下的orainstRoot.sh和root.sh；
执行root.sh时，如提示vipca运行失败：
        按下面的内容修改$ORA_CRS_HOME/bin/vipca可执行程序，然后单独执行./vipca再创建vip
        JREDIR=/opt/crs/oracle/product/11gR1/crs/jdk/jre/＃把最后/的去掉
        JREDIR=/opt/crs/oracle/product/11gR1/crs/jdk/jre  #修改后

        LD_ASSUME_KERNEL=2.4.19                       
        export LD_ASSUME_KERNEL              
fi                                                                                 ＃找到这部分，下边加一行
                unset LD_ASSUME_KERNEL
        安装后，删除临时目录下的压缩软件包和解压的目录，否则虚拟机空间会不足。

Tiger.wang

五、Oracle DBSoftware安装：
        上传软件包到主机共享文件夹，并进行解压；
        执行安装：
./runInstaller -ignoresysprereqs &
        安装过程中注意事项:
选择只安装软件,不在此时创建库!!

Tiger.wang

六.        Oracle DB配置和创建：
1.        Netca配置:
Oracle用户执行netca;
1.1.        选择“Cluster configuration”

1.2.        选择所有节点:

1.3.        配置监听程序

接下来,按默认选择即可,协议选择TCP,端口1521;
提示是否在增加监听程序时选择NO;
1.4.        选择命名方式:

下一步选择命名方式时, 选择“Local Naming”,然后完成配置.

Tiger.wang

2.        Dbca配置:
Oracle用户执行dbca;
修改/etc/fstab文件，增加一条:
tmpfs /dev/shm tmpfs defaults,size=10240M 0 0
          执行mount /dev/shm
          (避免dbca提示错误：ORA-00845:MEMORY_TARGET not supported on this system)
                检查crs状态(root用户执行)
#/opt/crs/oracle/product/11gR1/crs/bin/crsctl check crs
2.1.        选择配置RAC DB:

2.2.        选择创建数据库;
2.3.        选择节点,本示例只选择本地节点suse10sp2;
2.4.        选择定制数据库,custom database;
2.5.        设置Gloabal Name(dbrac)和SID prefix(dbrac)
注:两者没有关系,可设置成不一样,通常设置为相同,SID prefix再加上数字序号构成RAC实例的SID.
2.6.        选择配置EM
2.7.        口令,可单独配置各个用户的口令,也可使用相同的口令,安装完成后再进行修改.
2.8.        存储选择:

2.9.        设置ASM实例sys用户口令和参数文件的类型(spfile)
2.10.        按照提示创建ASM实例
2.11.        配置ASM磁盘组:
        填写磁盘组名字:ORA_DATA_ASM(可自己指定)
                选择External方式;
                如果没有列出创建的ORADATA磁盘,需要change Disk Discovery Path,在出现的Disk Discovery Path填写ORCL:*,ok后即可列出ORADATA磁盘.
        无法找到磁盘问题:
如仍然找不到磁盘,提示ORA-15031: disk specification 'ORCL:ORADATA' matches no disks
登录ASM实例:
        export ORACL_SID=+ASM1
        sqlplus / as sysdba
        sql>alter system set asm_diskstring='/dev/oracleasm/disks';
        sql>create diskgroup ORA_DATA_ASM external redundancy
disk '/dev/oracleasm/disks/ORADATA';
再次在dbca中查找磁盘,如仍找不到,重启,应该可以找到.
                选择该磁盘;
2.12.        选择数据文件存储位置:

2.13.        指定闪回区及大小和归档是否启用;
                大小设置为50M,归档可设定为不启用;
2.14.        选择sample schemas;
2.15.        初始化参数设置:
                Memory可使用默认的408M;
                Sizing中的进程数可修改为50;
                字符集选择: 数据库字符集->简体中文，国家字符集，当使用n开头的变量时，如nvarchar2，需指定国家字符集，否则可不关心.
                连接方式: 选择专用服务器模式
专用服务器模式：8i后均为此模式，PGA为每个用户分配3~4M内存;
共享服务器模式：8i前模式，适合会话很小，很短的情况；
                安全设置:选择11g建议的设置即可;
2.16.        自动维护任务设置开启;
2.17.        数据存储调整:

                可查看各个表空间和数据文件大小，修改redo log大小(10M)和个数(2个,默认为3个,删除第三个,减小空间)；
2.18.        完成创建数据库和生成创建数据库的脚本: