CentOS6.X下RHCS+GFS2配置

cnvbird

RHCS之gfs2 安装配置

0. 约定
    系统环境 CentOS 6.3 x86_64
    cluster-manager 192.168.0.230
    cluster-node1   192.168.0.231
    cluster-node2   192.168.0.232
    cluster-node3   192.168.0.233
    cluster-node4   192.168.0.234
    shareStorage    192.168.0.235

1. 安装配置scsi-target
   # yum install scsi-target-utils -y
   # chkconfig tgtd on
   # iptables -A INPUT -s 192.168.0.0/24 -p tcp -m tcp --dprot 3260 -j ACCEPT
   # service iptables save
   # vim /etc/tgt/targets.conf
        <target iqn.2012.11.com.kvmapp:shareStorage>
            backing-store /dev/vdb
            initiator-address 192.168.0.0/24
            write-cache off
        </target>
   # service tgtd start
   # netstat -luntp | grep 3260
   # tgt-admin --show
   
2. 安装配置iscsi-initiator(每个集群节点都安装，web管理节点不要安装)
    # yum install iscsi-initiator-utils
    # chkconfig iscsi on
    # chkconfig iscsid on
    # iscsiadm  -m discovery -t sendtargets -p 192.168.0.235
    # iscsiadm -m node -T iqn.2012.11.com.kvmapp:shareStorage --login
   
3. 安装集群web管理工具luci (cluster-manager节点)
    # yum install luci
    # chkconfig luci on
    # service luci start
    # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp --dport 8084 -j ACCEPT
    # service iptables save
    访问RHCS集群web管理，在浏览器里面输入http://192.168.0.230:8084
    Username: root
    Password: *******             //就是系统的root密码
4. 安装配置集群节点(cluster-node1,先配置这个节点)
    4.1 安装cman
        4.1.1 cman是什么？
            答:cman是cluster manager的简称，是一个分布式集群管理工具，运行在集群的各个节点上，为RHCS提供集群管理任务。cman 用于管理集群成员、消息和通知。
            它通过监控每个节点的运行状态来了解成员之间的关系。当集群中某个节点出现了故障时，节点成员关系将发生变化，cman及时将这种改变通知底层，进而做出相应的
            调整。cman根据每个节点的运行状态的运行状态，统计出一个法定节点数，作为集群是否存活的依据。当整个集群中有多余一半的节点处于激活状态时，表示达到了法定
            节点数，此集群可以正常运行；当集群中有一半或者少于一半的节点处于激活状态是，表示没有达到法定的节点数，此时整个集群系统将要变得不可用。cman依赖于ccs，
            并且cman通过ccs读取cluster.conf文件。
            
       4.1.2 安装cman
            # yum install cman
            # chkconfig cman on
            # iptables -I INPUT 4 -s 192.168.0.0/24 -p udp  --dport 5404:5405 -j ACCEPT
            # service iptables save
            
   4.2 安装ricci
        4.2.1 ricci是什么？
            答:conga是集群管理软件，通过使用conga，你可以非常方便的配置和管理好你的服务器集群和存储阵列.conga由两部分组成，luci和ricci，luci是跑在集群管理机器上
            的服务，而ricci则是跑在各集群节点上的服务，集群的管理和配置由这两个服务进行通信。
        4.2.2 安装ricci
            # yum install ricci
            # chkconfig ricci on
            # passwd ricci
            # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp --dport 11111 -j ACCEPT
            # service iptables save
  4.3 安装rgmanager
       4.3.1 rgmanager是什么？
           答:它主要用来监督、启动、停止集群的应用、服务和资源。当一个节点的服务失败时，高可用集群服务管理进程可以将服务从这个失败节点转移至其点健康节点上，这种服务转移能力是自动动，透明的。
           RHCS通过rgmanager来管理集群服务，rgmanager运行在每个集群节点上，在服务器上对应的进程为clurgmgrd。
           在RHCS集群中，高可用生服务包括集群服务和集群资源两个方面。集群服务其实就是应用，如APACHE，MYSQL等。集群资源有IP地址，脚本，EXT3/GFS文件系统等。
           在RHCS集群中，高可用性服务是和一个失败转移域结合在一起的。由几个节点负责一个特定的服务的集合叫失败转移域，在失败迁移域中可以设置节点的优先级，主节点失效，服务会迁移至次节点，
           如果没有设置优先，集群高可用服务将在任意节点间转移。
       4.3.2 安装 rgmanger
           # yum install rgmanager
           # chkconfig rgmanager on
  4.3 安装gfs2
           # yum install gfs2-utils
           # chkconfig gfs2 on
  4.4 ipables 设置和其他设置
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp  --dport 14567 -j ACCEPT
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp  --dport 16851 -j ACCEPT
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp  --dport 21064 -j ACCEPT
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp  --dport 50006 -j ACCEPT
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p tcp -m tcp  --dport 50008 -j ACCEPT
           # iptables -I INPUT 4 -s 192.168.0.0/24 -p udp  --dport 50007 -j ACCEPT
           # chkconfig modclusterd on

cnvbird

上面是小弟，自己根据网上的资料整理的，也按照上面的步骤把机器起步环境搭建起来，目前小弟遇到一个问题，就是QDisk问题，当我使用模拟的iscsi磁盘，然后使用lvm 把iscsic target 做成vg，在vg上面划一个lv，做qdisk，发现只要我一配置qdisk，我的集群节点就挂了，麻烦各位前辈给予指导。谢谢！

kitsdk

请问你用什么模拟的iscsi?

cruisezhao

非常好的ha资料

cnvbird

是用磁盘做都iscsi

zhl1979

是用磁盘做都iscsi  换个文件试试

sangzaohaishui

红帽有软件iscsi，实验用应该可以