Windows XPVMWare Server 1.0.6CentOS 5.2Oracle 10g Rac (10.2.0.1)安装文档

gunguymadman

一、测试环境及目的
     主机:一台PC,Intel-32位的芯片(P42.8GHz),1.5GB内存,安装CentOS-5.2-i386-bin-DVD.iso(3.74GB)版本的操作系统,在这个主机(XP)上面安装了2个虚拟机,全部安装CentOS-5.2-i386-bin-DVD.iso版本的操作系统,需要进行内核定制(升级到2.6.18-92.1.10.e15).
     具体软硬件环境:
        CPU:Intel P4 32bit 2.8GHz
        Memory:1.5GB  
        OS:Windows XP , CentOS5.2 for x86_32bit
      App:VMWare Server 1.0.6 build-91891 for windows , Telnet ForCentOS 5.2(in DVD), Ftp For CentOS 5.2(yum From Internet) , XManager2.0 for Windows , jdk-1_5_0_16-linux-i586-rpm.bin
      Oracle:10201_clusterware_linux32.zip , 10201_database_linux32.zip ,oracleasm-support-2.0.4-1.el5.i386.rpm ,oracleasmlib-2.0.3-1.el5.i386.rpm
     目的:实现 Windows XP + VMware Server 1.0.6 + CentOS 5.2 + Oracle 10g Rac + RAW 下的Oracle 10g Rac数据库安装及测试.
  
二、下载软件
1、下载并安装 VMWare Server 1.0.6 build-91891 for windows
2、下载
我的CentOS 5.2 的初始版本号是2.6.18-92.el5,升级内核后是2.6.18-92.1.10.e15(这当然是装好系统后,用uname -r查看的)(虚拟机要多装,才会熟练)
内核为什么要升级,主要是解决时间同步的问题,内核不升级,VMware-tools没有办法安装好,rac之间的时间同步很成问题,这个是我安装了多次rac过程中难以解决的问题,最后发现的解决办法。
ASM: 选择IA32体系的(32位系统体系)
  
(2.6.18-92.1.10.e15)(这个版本的有用,需要下载)
oracleasm-support-2.0.4-1.el5.i386.rpm  
oracleasmlib-2.0.3-1.el5.i386.rpm
oracleasm-2.6.18-92.1.10.el5-2.0.4-1.el5.i686.rpm  
  
  
(2.6.18-92.el5)(这个版本的不用去管了,在这里还保留,是因为算是个过程的记录)
oracleasm-support-2.0.4-1.el5.i386.rpm
oracleasmlib-2.0.3-1.el5.i386.rpm
oracleasm-2.6.18-92.el5-2.0.4-1.el5.i686.rpm
  
(这个版本的有用,需要下载)
oracle clusterware:
   10201_clusterware_linux32.zip
oracle database:
   10201_database_linux32.zip
  
Asm下载地址:
http://www.oracle.com/technology ... x/asmlib/rhel5.html
下载时看清是x86还是x86_64,一定看好自己的内核版本,特别是小版本号
  
clusterware下载地址:
http://www.oracle.com/technology ... 10201linuxsoft.html
  
三、创建共享磁盘并配置虚拟机
     1、在C:\\Program Files\\VMware\\VMware Server目录下执行以下命令:
vmware-vdiskmanager -c -s 1Gb -a lsilogic -t 2 \"e:\\centosshare\\ocfs.vmdk\" |用于Oracle集群注册表文件和CRS表决磁盘 (ocr,vote)
  
vmware-vdiskmanager -c -s 2Gb -a lsilogic -t 2 \"e:\\centosshare\\asm1.vmdk\" |用于Oracle的数据文件  
   
vmware-vdiskmanager -c -s 2Gb -a lsilogic -t 2 \"e:\\centosshare\\asm2.vmdk\" |用于Oracle的数据文件  
  
vmware-vdiskmanager -c -s 2Gb -a lsilogic -t 2 \"e:\\centosshare\\asm3.vmdk\" |用于Oracle的数据文件  
  
vmware-vdiskmanager -c -s 2Gb -a lsilogic -t 2 \"e:\\centosshare\\asm4.vmdk\" |用于Oracle的闪回恢复区  
  
    2、 在vmware server console 创建 vmware guest OS, 选择typical create->Other Linux 2.6.x kernel,VirTual machine name取名 centosrac1, Use Bridgednetworking ,虚拟硬盘20GB,不选择Allocate all disk space now和Split disk into 2GBfiles,其他都是默认.
        硬盘大小选择20GB, 建立方式为 虚拟文件.            
    3、 创建好后vmware guest OS之后, 给guest 加上一块NIC(也就是网卡)(Edit virtual machinesettings -->Add --> Next --> Ethernet Adapter --> Bridged-->完成)
        修改 内存选择1024MB=1G(>800MB您就看不到warning了),  
     4、双击Hard Disk (SCSI 0:0) 选择Advanced...,Mode选择Independent ,Persistent,点击 ok
     5、 关掉vmware console, 在centosrac1目录下面,打开Other Linux 2.6.x kernel.vmx, 在最后空白处添加以下内容
scsi1.present = \"TRUE\"  
scsi1.virtualDev = \"lsilogic\"  
scsi1.sharedBus = \"virtual\"  
  
scsi1:1.present = \"TRUE\"  
scsi1:1.mode = \"independent-persistent\"  
scsi1:1.filename = \"e:\\centosshare\\ocfs.vmdk\"  
scsi1:1.deviceType = \"disk\"  
  
scsi1:2.present = \"TRUE\"  
scsi1:2.mode = \"independent-persistent\"  
scsi1:2.filename = \"e:\\centosshare\\asm1.vmdk\"  
scsi1:2.deviceType = \"disk\"  
  
scsi1:3.present = \"TRUE\"  
scsi1:3.mode = \"independent-persistent\"  
scsi1:3.filename = \"e:\\centosshare\\asm2.vmdk\"  
scsi1:3.deviceType = \"disk\"  
  
scsi1:4.present = \"TRUE\"  
scsi1:4.mode = \"independent-persistent\"  
scsi1:4.filename = \"e:\\centosshare\\asm3.vmdk\"  
scsi1:4.deviceType = \"disk\"  
  
scsi1:5.present = \"TRUE\"  
scsi1:5.mode = \"independent-persistent\"  
scsi1:5.filename = \"e:\\centosshare\\asm4.vmdk\"  
scsi1:5.deviceType = \"disk\"  
  
disk.locking = \"false\"  
diskLib.dataCacheMaxSize = \"0\"  
diskLib.dataCacheMaxReadAheadSize = \"0\"  
diskLib.DataCacheMinReadAheadSize = \"0\"  
diskLib.dataCachePageSize = \"4096\"  
diskLib.maxUnsyncedWrites = \"0\"  
  
      这段是对vmware使用共享硬盘的方式进行定义,大多数人都知道配置 disk.locking =\"false\" 却漏掉dataCache
      保存退出之后,重新打开您的vmware-console,您就能够看到vmware guest OS的配置中,都有这些硬盘出现了.
四、安装CentOS操作系统
1、配置虚拟机 CD-ROM device -->Use ISO image -->选择你的CentOS-5.2-i386-bin-DVD.iso文件位置,然后启动虚拟机
2、安装步骤如下:
(如果启动不了,在虚拟机启动的时候,按Esc,选择3 CD-ROM Drive 来启动)
boot: 回车  
跳过对CD media的检查: Skip
Next
Chinese(Simplified)(简体中文)
美国英语式
是(Y)
要选择察看分区细节,把我们添加的盘(vote,ocr,asm)不要包含到Vl00里面了.
把检验和修改分区方案选择上
下一步(N)
是(Y)
选择VolGroup00 -->编辑-->LogVol00-->编辑-->把容量改成18368-->把sdb1 sdc1 sdd1 sde1 sdf1的勾取消掉
达到的效果 如下: /dev/sdb1            LVM PV 1019 1 130 没有挂载点(挂载点是空白的),sdc1 sdd1 sde1 sdf1效果也是一样的.这里只需要添加这些硬盘,这些硬盘不用挂到文件系统上.
下一步(N)
下一步(N)
下一步(N)
下一步(N)
输入你的ROOT用户密码
下一步(N)
  
选择 现在定制(C)
下一步(N)
  
桌面环境  选择 GNOME桌面环境
应用程序  选择 编辑器,其他的是默认的,不修改
开发      选择 GNOME软件开发 开发工具 开发库
服务器    选择 Windows文件服务器
基本系统  选择 基本,其他的是默认的,不修改
虚拟化    不选择
集群      不选择
集群存储  不选择  
下一步(N)
下一步(N)
  
大约花费50分钟时间
然后,VM --> Settings --> CD-ROM  
重新引导
  
前进(F)
防火墙禁用
  
前进(F)
是(Y)
  
SELinux 设置 :禁用
前进(F)
是(Y)
  
把系统时间改成当前时间
前进(F)
  
输入一个新建的一般用户和密码
前进(F)
  
前进(F)
  
完成(F)
确定(O)
  
启动到操作系统后,
  
需要解决以下问题,请按照先后顺序进行解决:
CentOS 5.2 在 VMware下,如何联网到Internet的问题
VMware Server 1.0.6虚拟机Centos OS5.2系统时间同步的问题
CentOS 5.2_FTP设置的问题
CentOS 5.2_Telnet设置的问题
CentOS 5.2_Xmanager设置的问题
备份CentOS 5.2系统后,网卡设置的问题
激活CentOS 5.2第二个网卡的问题
sendmail启动时间过长的问题

gunguymadman

11.建立节点之间的互信(建议使用方法1来完成此项设置)
  
方法1:
Create the /etc/hosts.equiv file as the root user.
#touch /etc/hosts.equiv
#chmod 600 /etc/hosts.equiv
#chown root:root /etc/hosts.equiv
Edit the /etc/hosts.equiv file to include all the RAC nodes:  
# cp /etc/hosts.equiv /etc/hosts.equiv.bak
# gedit /etc/hosts.equiv
+rac1 oracle
+rac2 oracle
+rac1-priv oracle
+rac2-priv oracle
  
需在两台计算机都要运行:
#su - oracle
$ssh-keygen  -t  rsa 生成密钥对,使用空密码
生成密钥对:  
只需在一台服务器上操作:
[oracle@rac1 ~]$ ssh 192.168.1.100  cat  /home/oracle/.ssh/id_rsa.pub >> authorized_keys
[oracle@rac1 ~]$ ssh 192.168.1.101  cat  /home/oracle/.ssh/id_rsa.pub >> authorized_keys
[oracle@rac1 ~]$ scp authorized_keys 192.168.1.100:/home/oracle/.ssh/
[oracle@rac1 ~]$ scp authorized_keys 192.168.1.101:/home/oracle/.ssh/
需在两台计算机上操作:
[oracle@rac1 ~]$ chmod  600  /home/oracle/.ssh/authorized_keys
[oracle@rac2 ~]$ chmod  600  /home/oracle/.ssh/authorized_keys
  
#ssh-keygen  -t  rsa 生成密钥对,使用空密码
生成密钥对:  
只需在一台服务器上操作:
[root@rac1 ~]# ssh 192.168.1.100  cat  /root/.ssh/id_rsa.pub >> authorized_keys
[root@rac1 ~]# ssh 192.168.1.101  cat  /root/.ssh/id_rsa.pub >> authorized_keys
[root@rac1 ~]# scp authorized_keys 192.168.1.100:/root/.ssh/
[root@rac1 ~]# scp authorized_keys 192.168.1.101:/root/.ssh/
需在两台计算机上操作:
[root@rac1 ~]# chmod  600  /root/.ssh/authorized_keys
[root@rac2 ~]# chmod  600  /root/.ssh/authorized_keys
  
所有的验证:
在两台计算机上的root权限和oracle权限下,都要运行以下命令:
         ssh localhost.localdomain date  
         ssh rac1 date
         ssh rac2 date
         ssh rac1-priv date
         ssh rac2-priv date
         ssh rac1.localdomain date
         ssh rac2.localdomain date
         ssh rac1-priv.localdomain date
         ssh rac2-priv.localdomain date
如果有问yes/no,都输入yes,只要以上命令都能在不输入密码的情况下,执行完毕,说明设置是对的.
  
  
方法2:  
         我采用的是ssh,具体过程有很多文档说明,这里省略.分别要建立root用户,oracle用户的互信.  
         #cp /etc/hosts.allow /etc/hosts.allow.bak
         #gedit /etc/hosts.allow
         添加 sshd:ALL
         # /etc/rc.d/init.d/sshd restart
  
1. 分别从rac1和rac2上登录作为root后运行ssh-keygen,目的是简单地在/root下创建目录.ssh,当提示输入  
　　passphase时打入两次回车.这将生成/root/.ssh/identity and /root/.ssh/identity.pub  
　　
2. 先测试一下,从rac1登录作为root,打入#ssh rac2,会要求提示root password. 　　
3. 现在从rac1登录作为root,运行scp /root/.ssh/id_rsa.pub rac2:/root/.ssh/authorized_keys. ,
　　文件名必须不能弄错.  
  
4.现在再从rac1运行#ssh rac2则不需要密码了:)  
同理rac2 也是这样的(重复第3步)
  
具体的指令如下:
rac1上,以root用户登录
#ssh-keygen 输入两次回车
#scp /root/.ssh/id_rsa.pub rac1:/root/.ssh/authorized_keys
输入密码
#scp /root/.ssh/id_rsa.pub rac2:/root/.ssh/authorized_keys
  
rac2上,以root用户登录
#ssh-keygen 输入两次回车
#scp /root/.ssh/id_rsa.pub rac2:/root/.ssh/authorized_keys1
输入密码
#cd /root/.ssh
#cat authorized_keys1>>authorized_keys
#scp /root/.ssh/id_rsa.pub rac1:/root/.ssh/authorized_keys1
  
rac1上,以root用户登录
#cd /root/.ssh
#cat authorized_keys1>>authorized_keys
  
rac1上,以oracle用户登录
$ssh-keygen 输入两次回车
$scp /home/oracle/.ssh/id_rsa.pub rac1:/home/oracle/.ssh/authorized_keys
输入密码
$scp /home/oracle/.ssh/id_rsa.pub rac2:/home/oracle/.ssh/authorized_keys
  
rac2上,以oracle用户登录
$ssh-keygen 输入两次回车
$scp /home/oracle/.ssh/id_rsa.pub rac2:/home/oracle/.ssh/authorized_keys1
输入密码
$cd /home/oracle/.ssh
$cat authorized_keys1>>authorized_keys
$scp /home/oracle/.ssh/id_rsa.pub rac1:/home/oracle/.ssh/authorized_keys1
  
rac1上,以oracle用户登录
$cd /home/oracle/.ssh
$cat authorized_keys1>>authorized_keys
   
  
然后在分别以root用户,oracle在两个节点上执行如下命令 ,
         ssh localhost.localdomain date  
         ssh rac1 date
         ssh rac2 date
         ssh rac1-priv date
         ssh rac2-priv date
         ssh rac1.localdomain date
         ssh rac2.localdomain date
         ssh rac1-priv.localdomain date
         ssh rac2-priv.localdomain date
如果需要输入(yes/no)?输入yes,测试完所有命令,如果都不要输密码,就配置成功了.
  
  
12、建立节点时间同步  
a、两台计算机以rac1为时间标准
在rac1上,以root用户登录
# cd /etc/xinetd.d
# cp time-stream time-stream.bak
# gedit time-stream
把disable = yes改成 disable = no
# service xinetd restart
# rdate -s rac1  
# hwclock -w  
就可以了.
  
在rac2上,以root用户登录
# rdate -s rac1
# hwclock -w  
就可以了.
  
这时也可以把rac2的校时服务开启
# cd /etc/xinetd.d
# cp time-stream time-stream.bak
# gedit time-stream
把disable = yes改成 disable = no
# service xinetd restart
# rdate -s rac1  
# hwclock -w  
就可以了.
b、系统启动后,rac1向ntp server校时 (由于和本机同步，所以不用ntp校时了，b这一步可以不做)
在rac1上,以root用户登录
#crontab -e   
//crontab -l 是列出任务
//crontab -r 是删除所有任务
添加如下内容:
  * * * * *    /usr/sbin/ntpdate time.stdtime.gov.tw | hwclock -w
意思是,每分钟更新时间一次.
#date 09010000
#service crond restart
就可以看效果了.
c、系统启动后,rac2向rac1校时
在rac2上,以root用户登录
在/etc/rc.d/init.d/下写一个脚本
#cd /etc/rc.d/init.d/
#gedit uptimefromrac1
内容:
#!/bin/bash
/etc/rc.d/init.d/uptimefromrac_1 &
然后:
#gedit uptimefromrac_1
内容:
#!/bin/bash
while(true;)
do
        rdate -s rac1
        sleep 20
done
然后:
#chmod 777 uptimefromrac1
#chmod 777 uptimefromrac_1
# ln -s /etc/rc.d/init.d/uptimefromrac1 /etc/rc.d/rc5.d/S99uptimefromrac1
这样rac2每20秒钟与rac1同步一次时间或者简单点
#crontab -e
  * * * * * rdate -s rac1 | hwclock -w(可以crontab被启动的时机是root用户登录的时机,所以系统启动后,crontab不会被运行,只能用脚本了)
  
  
13、把网卡绑定mac地址(rac1,rac2上,都要执行)
在桌面上选择 系统-->管理-->网络
选择eth0-->硬件设备--> 关联到MAC地址
选择eth1-->硬件设备--> 关联到MAC地址
然后点击 确定.

gunguymadman

在运行srvctl的时候，遇到:(rac1,rac2都需要改)
/home/oracle/app/oracle/product/10.2.0/db_1/jdk/jre/bin/java: error while loading shared libraries: libpthread.so.0: cannot open shared object file: No such file or directory
的错误，可以按照如下方式解决:
$ cd /home/oracle/app/oracle/product/10.2.0/db_1/bin/
$ cp srvctl srvctl.bak
$ gedit srvctl
LD_ASSUME_KERNEL=2.4.19
export LD_ASSUME_KERNEL
同样在其后新增加一行:
unset LD_ASSUME_KERNEL

测试数据库状态:(在rac1,rac2上分别测试)
$ cd /home/oracle/app/oracle/product/10.2.0/db_1/bin/
测试数据库配置
$ srvctl config database -d RAC
rac1 RAC1 /home/oracle/app/oracle/product/10.2.0/db_1
rac2 RAC2 /home/oracle/app/oracle/product/10.2.0/db_1
$

测试数据库当前状态:(在rac1,rac2上分别测试)
$ unset LANG      //这个是在用telnet登录时，中文会出现乱码的情况下的设置，改成了英语(缺省设置)
$ srvctl status database -d RAC
Instance RAC1 is running on node rac1
Instance RAC2 is running on node rac2
$ srvctl status database -d rac
Instance RAC1 is running on node rac1
Instance RAC2 is running on node rac2
开来不区分大小写,rac RAC ,但在ORACLE_SID中就要写RAC1, RAC2 ,RAC，不能写rac1,rac2,rac,sqlplus里面要区别大小写。

测试集群CRS当前状态:(在rac1,rac2上分别测试)
[oracle@rac1 ~]$ crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy

[oracle@rac2 ~]$ crsctl check crs
CSS appears healthy
CRS appears healthy
EVM appears healthy

测试集群当前状态:(在rac1,rac2上分别测试)
$ cd /home/oracle/app/crs/bin
$ ./crs_stat -t
Name          Type          Target    State    Host      
------------------------------------------------------------
ora....C1.inst application    ONLINE    ONLINE    rac1      
ora....C2.inst application    ONLINE    ONLINE    rac2      
ora.RAC.db    application    ONLINE    ONLINE    rac2      
ora....SM1.asm application    ONLINE    ONLINE    rac1      
ora....C1.lsnr application    ONLINE    ONLINE    rac1      
ora.rac1.gsd  application    ONLINE    ONLINE    rac1      
ora.rac1.ons  application    ONLINE    ONLINE    rac1      
ora.rac1.vip  application    ONLINE    ONLINE    rac1      
ora....SM2.asm application    ONLINE    ONLINE    rac2      
ora....C2.lsnr application    ONLINE    ONLINE    rac2      
ora.rac2.gsd  application    ONLINE    ONLINE    rac2      
ora.rac2.ons  application    ONLINE    ONLINE    rac2      
ora.rac2.vip  application    ONLINE    ONLINE    rac2   
$

测试集群应用程序启动状态:(在rac1,rac2上分别测试)
$ unset LANG
$ srvctl status nodeapps -n rac1
VIP is running on node: rac1
GSD is running on node: rac1
Listener is running on node: rac1
ONS daemon is running on node: rac1

$srvctl status nodeapps -n rac2
VIP is running on node: rac2
GSD is running on node: rac2
Listener is running on node: rac2
ONS daemon is running on node: rac2

测试集群ASM状态:(在rac1,rac2上分别测试)
$ srvctl status asm -n rac1
ASM instance +ASM1 is running on node rac1.

srvctl status asm -n rac2
ASM instance +ASM2 is running on node rac2.

测试命令: tnsping rac1 ,tnsping rac2 ,tnsping RAC1 ,tnsping RAC2(在rac1,rac2上分别测试)
具体结果如下:
tnsping [oracle@rac2 ~]$ tnsping rac1
TNS Ping Utility for Linux: Version 10.2.0.1.0 - Production on 16-SEP-2008 23:33:42
Copyright (c) 1997, 2005, Oracle.  All rights reserved.
Used parameter files:
Used TNSNAMES adapter to resolve the alias
Attempting to contact (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = rac1-vip.localdomain)(PORT = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = RAC.WORLD) (INSTANCE_NAME = RAC1)))
OK (80 msec)
[oracle@rac2 ~]$ tnsping rac2
TNS Ping Utility for Linux: Version 10.2.0.1.0 - Production on 16-SEP-2008 23:33:51
Copyright (c) 1997, 2005, Oracle.  All rights reserved.
Used parameter files:
Used TNSNAMES adapter to resolve the alias
Attempting to contact (DESCRIPTION = (ADDRESS = (PROTOCOL = TCP)(HOST = rac2-vip.localdomain)(PORT = 1521)) (CONNECT_DATA = (SERVER = DEDICATED) (SERVICE_NAME = RAC.WORLD) (INSTANCE_NAME = RAC2)))
OK (20 msec)

windows客户端连接RAC的配置方法：
Tnsname.ora中的(D:\\oracle\\product\\10.2.0\\client_1\\NETWORK\\ADMIN)
RAC =
  (DESCRIPTION =
    (ADDRESS_LIST =
      (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.100)(PORT = 1521))
      (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.1.101)(PORT = 1521))
      (LOAD_BALANCE = yes)
    )
    (CONNECT_DATA =
      (SERVER = DEDICATED)
      (SERVICE_NAME = RAC)
    )
  )

在C:\\windows\\system32\\drivers\\etc中的hosts中加入
192.168.1.200        rac1-vip
192.168.1.201        rac2-vip

xieweihua

在Centos 下和rhel下是否一样？

zolwjz

一直在REDHAT下面做测试，还没在CENTOS下做过，有空试试。

hbwangting

RAW设备在centos5.2下的设置，看起来怎么跟RHEL4一样啊，呵呵

吃果冻喝啤酒

强, 有耐力

不管真实环境还是虚拟环境 最头痛的是他自己脚本就有问题 , 最好有个metalink的帐户

11g rac 就对着官方文档装好了 还没碰到脚本自身有问题