HA-Lustre-MDS安装配置

johnlya

HA-Lustre-MDS安装配置
一、Lustre应用场景：
MDS的IP地址为192.168.187.200，需要将数据存储到iscsi共享盘的第一个分区(sdb1)上。
1、硬件配置：
MDS_MASTER：eth0:192.168.187.131
          eth1:10.0.0.1
MDS_SLAVE： eth0:192.168.187.132
          eth1:10.0.0.2
其中eth1网卡用于心跳功能；
2、网络拓朴图：




二、软件安装：
1、tar -zxvf libnet.tar.gz
cd libnet
./configure
make
make install
2、 heartbeat-2.0.2.tar.gz
tar -zxvf heartbeat-2.0.2.tar.gz
cd heartbeat-2.0.2
./ConfigureMe configure
make
useradd hacluster
groupadd haclient
gpasswd –a hacluster haclient
make install
二、Heartbeat配置：
1、/etc/ha.d/ha.cf
# Suggested fields - logging
debugfile /var/log/ha-debug
logfile /var/log/ha-log
logfacility local0
# Required fields - Timing
keepalive 2
deadtime 10
initdead 120
# If using serial Heartbeat
#baud 19200
#serial /dev/ttyS0
# For Ethernet broadcast
udpport 1694
bcast eth1
# Use manual failback
auto_failback off
# Cluster members - name must match `hostname`
node MDS_MASTER
node MDS_SLAVE
# remote health ping
ping 192.168.187.1
respawn hacluster /usr/lib/heartbeat/ipfail

#crm yes
#apiauth cibmon uid=hacluster
#irespawn hacluster /usr/lib/heartbeat/cibmon -d
#respawn hacluster /usr/lib/heartbeat/ccm
2、/etc/ha.d/haresources
当切换资源时应该切换哪些资源，例如IP、磁盘……等。在heartbeat中，通过/etc/ha.d/haresources文件来配置共享的资源，在我们的案例中，/etc/ha.d/haresources文件的主要内容如下：
MDS_MASTER 192.168.187.200 Filesystem::/dev/sdb1::/mnt/johnlya/mdt::luster
#设置HAMaster为主节点，集群服务器的ip地址为192.168.187.200
3、/etc/ha.d/authkeys
/etc/ha.d/authkeys文件的内容如下:
auth 1
1 sha1 key-for-sha1-any-text-you-want
更改文件的权限：
chmod 600 /etc/ha.d/authkeys
4、使用同样的方法配置HASlave
5、Lustre配置启动流程
[MDS_MASTER]# mkfs.lustre --fsname=johnlya --mdt --mgs --reformat --failnode=MDS_SLAVE /dev/sda1
[MDS_MASTER]# mount -t lustre /dev/sda1 /mnt/johnlya/mdt

[OSS_MASTER]# mkfs.lustre --fsname=johnlya --ost --reformat --mgsnode=MDS_SLAVE@tcp0 --mgsnode=MDS_MASTER@tcp0 --failnode=OSS_SLAVE /dev/sdb1
[OSS_MASTER]# mount -t lustre /dev/sdb1 /mnt/johnlya/ost

[CLIENT]# mount -t lustre MDS_SLAVE@tcp0:MDS_MASTER@tcp0:/johnlya /mnt/johnlya/client/

6、测试
MDS_MASTER：
service heartbeat restart
如果不出现错误，mount服务应该被heartbeat启动，同时heartbeat为主节点设置IP地址192.168.187.200。使用ifconfig eth0:0可以看到IP地址为192.168.187.200。 10秒后能看到/mnt/johnlya/mdt挂载成功。
MDS_SLAVE：
service heartbeat restart
       直接关闭节点MDS_MASRTER(模拟故障)。 10秒后，在节点HASlave 上执行ifconfig eth0:0，可以看到eth0:0已经被设置为192.168.187.200 ，能看到/mnt/johnlya/mdt挂载成功。
三、ISCSI安装与配置：
    1、iscsitarget-0.4.16.tar.gz
2、iscsi-initiator-utils-4.0.3.0-2.i386.rpm
3、target：
        tar -xzvf iscsitarget-0.4.15.tar.gz
        make;makeinstall
        vi /etc/ietd.conf
        Target iqn.2001-04.com.example:storage.disk2.sys1.idisk
        Lun 4 Path=/dev/sdb1,Type=fileio
        Alias sdb
        iSNSServer 192.168.1.131
        iSNSAccessControl No
  client:
        rpm –ivh iscsi-initiator-utils-4.0.3.0-2.i386.rpm
        vi /etc/iscsi.conf
        DiscoveryAddress=192.168.1.131
        SendAsyncText=yes
        Continuous=yes
        service iscsi start
        iscsi-ls
四、注意事项：
1、安装时用虚拟机拷贝另一份需要注意将其中一个删除（/var/lib/heartbeat/hb_uuid）；
2、安装时最好不要将配置文件从Window下拷贝至Linux下；
3、需要注意用户权限问题；
4、最重要一点是查看/var/log/ha-debug文件
5、保证权限：
chown hacluster:haclient /usr/lib/ocf/resource.d/heartbeat -R
chown hacluster:haclient /etc/ha.d/resource.d/heartbeat -R
chown hacluster:haclient /var/lib/heartbeat -R
chown hacluster:haclient /var/run/heartbeat.pid -R
chown hacluster:haclient /var/run/heartbeat –R
       6、用客户端测试时，在另一台备用机器启动后，客户端会出现大约几分钟不能访问的情况，这是属于正常情况，是Lustre在启动备份机器并分配网络资源


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/69517/showart_693846.html