双机550+ha+rac 需求帮助

vitovito

原帖由 louis095 于 2005-11-10 18:30 发表
我做的hacmp for rac , create share vg ----> concurrent mode , after 2 台node hacmp service up , 看到的 vg 都是 on 的 , 請試試 .

不是on吧，应该是active吧

blue_stone

rac 的心跳线的  ip地址
oracle建议通过交换机连接两台机器的心跳网络，用交叉线也可以
比如你的节点A的ip地址是192.168.0.207
节点B的ip地址是192.168.0.208
你就可以使用下面的语句修改spfile
alter system set cluster_interconnects='192.168.0.207' sid='SIDPRIFIX1' scope=spfile;
alter system set cluster_interconnects='192.168.0.208' sid='SIDPRIFIX2' scope=spfile;
shutdown immediate ;

vitovito

原帖由 blue_stone 于 2005-11-11 16:28 发表
rac 的心跳线的  ip地址
oracle建议通过交换机连接两台机器的心跳网络，用交叉线也可以
比如你的节点A的ip地址是192.168.0.207
节点B的ip地址是192.168.0.208
你就可以使用下面的语句修改spfile
alter syste ...

好，非常感谢！
下周三就可以验证了，我下周三去客户现场，如果是这问题就最好了，如果不是，我只能装AIX5.2+ha4.5+oracle9i（rac）了

jlhwlw

照楼上给你说的做，肯定没问题，前几天我也遇到你的问题，ORACLE RAC需要高速的，HA用串口线做心跳线在RAC环境下就会出现一个能启动，另一个就不能启动

ggf0626

如果是不能打开数据文件的话，解决办法有2个：
1、不要用enhanced concurrent vg，用普通的vg就行了。
或者
2、在ORACLE用户中加入环境变量
export PGSD_SUBSYS=grpsvcs

不知道是不是你这种情况，可以试一下。

[ 本帖最后由 ggf0626 于 2005-11-11 23:22 编辑 ]

wildhorse

原帖由 jlhwlw 于 2005-11-11 20:56 发表
照楼上给你说的做，肯定没问题，前几天我也遇到你的问题，ORACLE RAC需要高速的，HA用串口线做心跳线在RAC环境下就会出现一个能启动，另一个就不能启动

不是用串口做心跳的问题。心跳是HACMP用的。

vitovito

谢谢各位，问题已经解决了，问题出在hacmp上，我正在整理文档，过2天把步骤都贴出来

genieup

此问题可能是你没正确配置cluster_interconnects参数造成的,按10楼的建议里进行设置,rac interconnectrac的网络ip地址就是你/etc/hosts 的每个节点的主IP(BOOT1 IP)

vitovito

1        写在前面的话
编写本文档要特别感谢北京现代集团的张维民及suwalau两位朋友，在他们的帮助下，才得以解决关键的问题。
2        需求分析
大唐王滩电厂在本次HACMP实施中采用双机并行的运行模式，即：
两台P550主机上安装Oracle 9i RAC产品，HACMP版本为5.2
3        环境说明
        主机名        信息        备注
主机1        dtwtdb01        System Model: IBM,9113-550
Machine Serial Number: 10FAFEF
Processor Type: PowerPC_POWER5
Number Of Processors: 2
Processor Clock Speed: 1504 MHz
CPU Type: 64-bit
Kernel Type: 64-bit
LPAR Info: 1 10-FAFEF
Memory Size: 7808 MB
Disk:70G*2
AIX 5300-03
Hacmp：5.2并行版       
主机2        dtwtdb02        System Model: IBM,9113-550
Machine Serial Number: 10FB0FF
Processor Type: PowerPC_POWER5
Number Of Processors: 2
Processor Clock Speed: 1504 MHz
CPU Type: 64-bit
Kernel Type: 64-bit
LPAR Info: 1 10-FB0FF
Memory Size: 7808 MB
Disk:70G*2
AIX 5300-03
Hacmp：5.2并行版       


4        设计规划
4.1        IP及拓扑设计
cluster name        dtwtcluster
node name        dtwtdb01
ip label        db1_boot        db1_stdby        db1_svr        dtwtdb_tty1        db1_prv
network type        ethernet        ethernet        ethernet        rs232        ethernet
network attribute        public        public        private        serial        private
ip alias        disable        disable        disable                disable
network name        net_ether_02        net_ether_02        net_ether_02        net_rs232_01        net_ether_01
ip address        10.66.8.52        172.1.1.1        10.66.8.50        /dev/tty0        2.2.2.1
adapter function        boot        standby        service        serial        private
adapter name        en2        en3                        en1


cluster name        dtwtcluster
node name        dtwtdb02
ip label        db2_boot        db2_stdby        db2_svr        dtwtdb_tty2        db2_prv
network type        ethernet        ethernet        ethernet        rs232        ethernet
network attribute        public        public        private        serial        private
ip alias        disable        disable        disable                disable
network name        net_ether_02        net_ether_02        net_ether_02        net_rs232_01        net_ether_01
ip address        10.66.8.53        172.1.1.2        10.66.8.51        /dev/tty0        2.2.2.2
adapter function        boot        standby        service        serial        private
adapter name        en2        en3                        en1



4.2        资源组命名
Res.Grp.Name        Node Rel.        Part.Node Name
dtwtdb_res        concurrent        dtwtdb01 dtwtdb02
dtwtdb_res1        cascading        dtwtdb01 dtwtdb02
dtwtdb_res2        cascading        dtwtdb02 dtwtdb01

4.3        应用服务器建立
App Name        Start Script        Stop Script
dtwtapp        /ha/start        /ha/stop

4.4        配置资源组
Res. Grp.Name        Service IP        Volume Group        Application Servers
dtwtdb_res                oradatavg        dtwtapp
dtwtdb_res1        db1_svc               
dtwtdb_res2        db2_svc               

4.5        hosts文件设计
127.0.0.1                loopback localhost        # loopback (lo0) name/address
10.66.8.52            db1_boot        dtwtdb01
10.66.8.50            db1_svr
172.1.1.1            db1_stdby
2.2.2.1                db1_prv

10.66.8.51          db2_svr
10.66.8.53            db2_boot        dtwtdb02
172.1.1.2            db2_stdby
2.2.2.2                db2_prv

10.48.178.201        db1_console1
10.48.178.203        db2_console1

5        实施步骤
5.1        环境准备
序号        内容项        内容        备注
1.                安装HACMP软件        注意不要安装带PSSP的文件集（会导致启动数据库时不认裸设备）       
2.                打HACMP补丁        IY58496 IY77379 IY73937 IY68370       
3.                重起主机               
4.                检查补丁        检查补丁是否已经打上       
5.                修改/sbin/rc.boot        ##Modified By Sinosoft For Hacmp Software Start
#nohup /usr/sbin/syncd 60 > /dev/null 2>&1 &
nohup /usr/sbin/syncd 10 > /dev/null 2>&1 &
##Modified By Sinosoft For Hacmp Software End       
6.                修改water mark        smit  system -->
Change / Show Characteristics of Operating System
HIGH water mark for pending write I/Os per file   [32]   
LOW water mark for pending write I/Os per file    [24]           

5.2        IP地址几网络划分
步骤        节点        步骤        备注
1.                dtwtdb01        在en2上建立boot网卡：
dtwtdb01/ 10.66.8.52/255.255.255.0       
2.                        在en3上建立standby网卡：
dtwtdb01/ 172.1.1.1/255.255.255.0       
3.                        在en1上建立private网卡：
dtwtdb01/ 2.2.2.1/255.255.255.0       
4.                dtwtdb02        在en2上建立boot网卡：
dtwtdb01/ 10.66.8.53/255.255.255.0       
5.                        在en3上建立standby网卡：
dtwtdb01/ 172.1.1.2/255.255.255.0       
6.                        在en1上建立private网卡：
dtwtdb01/ 2.2.2.2/255.255.255.0       
7.                dtwtdb01        修改/etc/hosts文件
建立/.rhosts文件
chmod 600 /.rhosts       
8.                dtwtdb02        修改/etc/hosts文件
建立/.rhosts文件
chmod 600 /.rhosts       
9.                        测试网络是否畅通(rlogin,ping等命令)       
10.                dtwtdb01        创建串口信息：
tty/rs232/terminal asynchrone/sa3/2/9600/none/8/1/vt100       
11.                dtwtdb02        创建串口信息：
tty/rs232/terminal asynchrone/sa3/2/9600/none/8/1/vt100       
12.                        测试心跳线是否正常
在dtwtdb02上：cat < /dev/tty0
在dtwtdb01上：cat /etc/hosts > /dev/tty0
如果在dtwtdb02上显示出相关内容，则配置正常

vitovito

5.3        HACMP配置
5.3.1        让HACMP主动认双机配置
                 HACMP for AIX
Move cursor to desired item and press Enter.
  Initialization and Standard Configuration
  Extended Configuration
  System Management (C-SPOC)
  Problem Determination Tools

          nitialization and Standard Configuration
Move cursor to desired item and press Enter.
  Two-Node Cluster Configuration Assistant
  Add Nodes to an HACMP Cluster
  Configure Resources to Make Highly Available
  Configure HACMP Resource Groups
  Verify and Synchronize HACMP Configuration
  HACMP Cluster Test Tool
  Display HACMP Configuration

     Configure Nodes to an HACMP Cluster (standard)
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
     [Entry Fields]
* Cluster Name                                       [dtwtcluster]
  New Nodes (via selected communication paths)       [dtwtdb01]

     [Entry Fields]
* Cluster Name                                       [dtwtcluster]
  New Nodes (via selected communication paths) [dtwtdb02]                                          
  Currently Configured Node(s)                  dtwtdb01

在这一过程中，HACMP会认出在/etc/hosts文件中配置的所有信息，并进行分类，配置如下：
Node:dtwtdb01
NetWork: net_ether_01
Adapter:db1_console1,db1_prv
NetWork: net_ether_02
Adapter:db1_boot,db1_stdby
====================================================================
Node:dtwtdb02
NetWork: net_ether_01
Adapter:db2_console1,db2_prv
NetWork: net_ether_02
Adapter:db2_boot,db2_stdby

5.3.2        修改HACMP的拓扑配置
5.3.2.1        删除db1_console1和db2_console1信息
   HACMP for AIX
Move cursor to desired item and press Enter.
  Initialization and Standard Configuration
Extended Configuration
  System Management (C-SPOC)
  Problem Determination Tools

   Extended Configuration
Move cursor to desired item and press Enter.
  Discover HACMP-related Information from Configured Nodes
  Extended Topology Configuration
  Extended Resource Configuration
  Extended Event Configuration
  Extended Performance Tuning Parameters Configuration
  Security and Users Configuration
  Snapshot Configuration
  Export Definition File for Online Planning Worksheets

  Extended Verification and Synchronization
  HACMP Cluster Test Tool

    Extended Topology Configuration
Move cursor to desired item and press Enter.
  Configure an HACMP Cluster
  Configure HACMP Nodes
  Configure HACMP Sites
  Configure HACMP Networks
  Configure HACMP Communication Interfaces/Devices
  Configure HACMP Persistent Node IP Label/Addresses
  Configure HACMP Global Networks
  Configure HACMP Network Modules
  Configure Topology Services and Group Services
  Show HACMP Topology

Configure HACMP Communication Interfaces/Devices
Move cursor to desired item and press Enter.
  Add Communication Interfaces/Devices
  Change/Show Communication Interfaces/Devices
  Remove Communication Interfaces/Devices
  Update HACMP Communication Interface with Operating System Settings

在列出的设备中，删除db1_console1和db2_console2
5.3.2.2        修改NetWork属性
             Extended Topology Configuration
Move cursor to desired item and press Enter.
  Configure an HACMP Cluster
  Configure HACMP Nodes
  Configure HACMP Sites
  Configure HACMP Networks
  Configure HACMP Communication Interfaces/Devices
  Configure HACMP Persistent Node IP Label/Addresses
  Configure HACMP Global Networks
  Configure HACMP Network Modules
  Configure Topology Services and Group Services
  Show HACMP Topology

Move cursor to desired item and press Enter.
  Add a Network to the HACMP Cluster
  Change/Show a Network in the HACMP Cluster
  Remove a Network from the HACMP Cluster

              Select a Network to Change/Show
            Move cursor to desired item and press Enter.
             net_ether_01 (2.2.2.0/24)  
             net_ether_02 (10.66.8.0/24 172.1.1.0/24)

      Change/Show an IP-Based Network in the HACMP Cluster
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
                                                     [Entry Fields]
* Network Name                                        net_ether_01
  New Network Name                                   []
* Network Type                                       [ether]                                    
* Netmask                                            [255.255.255.0]                             
* Enable IP Address Takeover via IP Aliases          [No]                                       
  IP Address Offset for Heartbeating over IP Aliases []
* Network attribute                                   private

     Change/Show an IP-Based Network in the HACMP Cluster
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
                                                      [Entry Fields]
* Network Name                                        net_ether_02
  New Network Name                                   []
* Network Type                                       [ether]                                    
* Netmask                                            [255.255.255.0]                             
* Enable IP Address Takeover via IP Aliases          [No]                                       
  IP Address Offset for Heartbeating over IP Aliases []
* Network attribute                                   public(不变)

5.3.2.3        增加串口NetWork
              Extended Topology Configuration
Move cursor to desired item and press Enter.
  Configure an HACMP Cluster
  Configure HACMP Nodes
  Configure HACMP Sites
  Configure HACMP Networks
  Configure HACMP Communication Interfaces/Devices
  Configure HACMP Persistent Node IP Label/Addresses
  Configure HACMP Global Networks
  Configure HACMP Network Modules
  Configure Topology Services and Group Services
  Show HACMP Topology

# Pre-defined Serial Device Types
XD_rs232
diskhb
rs232

      Add a Serial Network to the HACMP Cluster
Type or select values in entry fields.
Press Enter AFTER making all desired changes.
                                                     [Entry Fields]
* Network Name                                       [net_rs232_01]
* Network Type                                        rs232

      COMMAND STATUS
Command: OK            stdout: yes           stderr: no
Before command completion, additional instructions may appear below.
Network net_ether_01 is private
Network net_ether_01 is private