linux cluster4.0双机配置请教

wind1211

两台主机为rhas4+cluster4.0 ，一台为app应用服务器，一台为数据库服务器，两台互备，连接在共享光纤存储上。应用服务器安装应用程序app为主，oracle为辅；在数据库服务器上app为辅，oracle为主。数据文件存放在光纤存储上。
请问一下应该怎样规划app的安装和cluster的配置，对linux cluster概念有点晕。
问题：1.要对app实现双机，app是否安装在光纤存储上?
问题：2.oracle程序安装分别安装在两台主机的本地磁盘上，那么利用cluster怎么实现oracle双机，是不是同时只跑一个oracle数据库服务，当掉的话，cluster去启动另一台服务器的oracle,那app呢？

wind1211

嗯，我先试试。谢谢楼上

wind1211

现在环境是这样的，RHAS4 U5两台，cluster4.0集群套件。HP460C刀片服务器两台（app,datadb），一台光纤交换机，一台MSA1000光纤存储，存储上划分了两个逻辑单元lun1,lun2,app机和datadb机都可以访问。
app机上运行app1服务（由4个后台进程组成），后台数据库为datadb机上的oracle数据库，现在要实现app机上的app1服务和datadb上的oracle都能够双机切换。
我是这样想的一个思路：
在app机上和datadb机上都安装oracle程序，将oracle数据文件放到光纤存储上的lun1,将app1程序安装在光纤存储上的lun2上
1.app机上，在lun2上划分分区，创建文件ext3系统，并创建/app1目录，将其挂载并安装app1程序
   datadb机上：在lun1上划分分区，创建ext3文件系统，挂载到/oradata并安装oralce数据实例
2. 在app机上配置cluster，首先创建share raw device(仲裁分区)/dev/raw/raw1,/dev/raw/raw2,并添加到/etc/sysconfig/rawdevices 文件中.
    启动system-config-cluster,命名集群为cluster-app，添加share raw devcie
    添加member，将成员app,datadb都加入进来
    然后针对每个memebert添加fence设备。
    然后添加failover domain并添加app、datadb这两个member
    创建文件系统资源，资源名称为APP1，文件系统为ext3,挂在点为/app1,设备名称/dev/sda2
    创建IP资源，也就是该app1运行的服务IP
    创建控制该服务的脚本资源（/app1/app.sh)
    最后创建该群集服务名为app1，并添加以上的资源
    然后拷贝app机上的cluster.conf到datadb机上
    启动集群
3.在datadb机上也用上述的方法来配置oracle服务的双机

问题1：我上述的想法可以实现吗app1和oracle的双机切换吗？
问题2：app1是java程序写的服务，这样需要在这两台机器上都要安装jdk，想问的是，我用app机在共享光纤存储上lun2上创建的/app1文件系统，datadb机可以mount吗？ 同理，datadb机可以mount app机在光纤存储上创建的文件系统吗？
问题3：可以用ilo地址做心跳地址吗?

wind1211

建两个 failover domain试试
一个用来restart app机上的app    //*当app有问题时，只在app机上重启
一个用来reload datadb上的oracel    //*当oracel有问题时可以切换到app机上去
明天去试，再来贴结果

wind1211

我现在配置成两个failover domain与两个service，一个service 跑应用，另一个service 跑数据库（应用和service 是关联的）
但是启动双机后，结果并不时互备的模式，而是双机热备的模式，两个应用都运行在一台主机上，今天测试了一下双机切换，也可以切换，请问如下是我的cluster.conf文件 与clustat状态

<?xml version="1.0" ?>
<cluster config_version="6" name="Cluster_DB">
        <quorumd device="/dev/sdd2" interval="1" label="raw1" min_score="2" tko="10" votes="2">
                <heuristic interval="2" program="ping -c2 -t32 11.88.17.250" score="1"/>
        </quorumd>
        <fence_daemon post_fail_delay="0" post_join_delay="3"/>
        <clusternodes>
                <clusternode name="itsmdb" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="ilo_db"/>
                                </method>
                        </fence>
                </clusternode>
                <clusternode name="itsmapp" votes="1">
                        <fence>
                                <method name="1">
                                        <device name="ilo_app"/>
                                </method>
                        </fence>
                </clusternode>
        </clusternodes>
        <cman/>
        <fencedevices>
                <fencedevice agent="fence_ilo" hostname="11.88.30.200" login="Administrator" name="ilo_db" passwd="BP968SCA"/>
                <fencedevice agent="fence_ilo" hostname="11.88.30.201" login="Administrator" name="ilo_app" passwd="FPM9GJBA"/>
        </fencedevices>
        <rm>
                <failoverdomains>
                        <failoverdomain name="DB" ordered="1" restricted="1">
                                <failoverdomainnode name="itsmdb" priority="1"/>
                                <failoverdomainnode name="itsmapp" priority="2"/>
                        </failoverdomain>
                        <failoverdomain name="app" ordered="1" restricted="1">
                                <failoverdomainnode name="itsmapp" priority="1"/>
                                <failoverdomainnode name="itsmdb" priority="2"/>
                        </failoverdomain>
                </failoverdomains>
                <resources>
                        <ip address="11.88.17.94" monitor_link="1"/>
                        <fs device="/dev/sdd1" force_fsck="0" force_unmount="1" fsid="48148" fstype="ext3" mountpoint="/oraitsmdata" name="oraitsmdata" options="" self_fence="0"/>
                        <script file="/etc/init.d/oracled" name="oracled"/>
                        <ip address="11.88.17.93" monitor_link="1"/>
                        <fs device="/dev/sdc1" force_fsck="0" force_unmount="1" fsid="55636" fstype="ext3" mountpoint="/nmsapp" name="nmsapp" options="" self_fence="0"/>
                        <script file="/etc/init.d/nms" name="nms"/>
                </resources>
                <service autostart="1" domain="DB" name="DB">
                        <ip ref="11.88.17.94"/>
                        <fs ref="oraitsmdata"/>
                        <script ref="oracled"/>
                </service>
                <service autostart="1" domain="app" name="Nms">
                        <ip ref="11.88.17.93"/>
                        <fs ref="nmsapp"/>
                        <script ref="nms"/>
                </service>
        </rm>
</cluster>




[root@xjwlqywpt-itsmdb cluster]# clustat
Member Status: Quorate

  Member Name                              Status
  ------ ----                              ------
  itsmdb                                   Online, Local, rgmanager
  itsmapp                                  Online, rgmanager

  Service Name         Owner (Last)                   State         
  ------- ----         ----- ------                   -----         
  DB                   itsmdb                         started         
  Nms                  itsmdb                         started

wind1211

可以通过启动后再手工切换，使应用服务器跑应用，数据库服务器跑oracle服务，但是这样似乎和别的双机互备不一样，这么说吧，还不能算是双机，这是一个问题。

另一个问题，今天当我power off其中一台主机后，双机服务不能切换，日志报fenced failed之类的，会不会是调用fence设备出错(fence设备是hp的ilo），想问的是 心跳地址是否一定要能和hp的ilo地址通信（在同一网段)?

wind1211

fence_ilo的网段 是11.88.30.0/24
心跳的地址：192.168.0.95 , 192.168.0.96
服务ＩＰ的网段：11.88.17.0/24

wind1211

现在只做一个服务的双机(oracle)
网卡宕和oracle服务宕都可以自动切换，唯有我手工power off跑oracle的节点时，oracle服务不能切换，另一台主机的messages日志不断的提示msg_receive_simple: Connection reset by peer

当我手工用fence_ilo命令测试:fence_ilo -a 11.88.30.201 -l Administrator -p EIFEJOEJ -o status 返回POWER is on success
用fence_ilo -a 11.88.30.201 -l Administrator -p EIFEJOEJ -o reboot返回：error: Command without TOGGLE="Yes" attribute is ignored when host power is off.
power_on: unexpected error   结果是11.88.30.201也没能重启成功，貌似是关机的效果

wind1211

没有经过路由设备,心跳网卡是通过刀片柜上的交换机连接的,和直连没什么区别

wind1211

谢谢楼上的指点，周一再去检查fence的配置。
现在在这三种情况下可以自动切换：shutdown -h now关机；oracle服务停掉；服务网卡（11.88.17.0/24的地址）ifdown；
另外想请教一下，如果我启用了qdiskd服务，是不是要在两个节点上都要启动（先前测试 在启动ccsd服务之前启动qdiskd，在两台节点启动 cman后，node1节点messages日志报node2 shutdown,node2节点日志报node1 shutdown,但是继续启动fenced、rgmanager，双机服务仍能可用，但在cluster manager member中看到qdiskd的分区是dead状态，不知道这是什么原因）