论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-08-29 22:57 |只看该作者 |倒序浏览

DRBD(Distributed Replicated Block Device)，分布式复制块设备，是一种通过TCP/IP网络实现块设备数据实时镜像的方案。利用这种方案，单一主节点模式（single primary mode）双机系统能够实时地将业务数据保存在主备节点的磁盘中，正常情况下两个节点的数据是一模一样的。
HeartBeat在此是用来做热备切换的，两节点间通过心跳线连接，如果主节点死机的话，可以通过HA将DRBD快速切换到另外一个节点，同时抢占虚拟IP，并启动MySQL，对MySQL客户端来说，只有很短时间的中断。此模式能有效提高MySQL的可用性。

此文档参考了DRBD(http://www.drbd.org), HA(http://linux-ha.org), MySQL的相关官方文档。安装笔记由鱼漂(ipaddr)原创，最新版本可以在http://www.eit.name/找到，转载请注明。

--------------------------------
一.环境
--------------------------------
OS: CentOS 5.5 32位
MySQL: 系统自带
DRBD: 8.3.8.1编译安装 (http://www.drbd.org/)
HeartBeat: 3.0.3编译安装 (http://linux-ha.org/)

====Node1====
Hostname: db_node1.systemadmin.cn
Ip: 192.168.0.201
====Node2====
Hostname: db_node2.systemadmin.cn
Ip: 192.168.0.202

HB的虚IP: 192.168.0.200

用来做DRBD的分区：/dev/sdb1
挂载点：/data/dbdata

--------------------------------
二. 编译安装DRBD
--------------------------------
从www.drbd.org下载drbd-8.3.8.1.tar.gz，分别在两个节点上编译安装:
注意，DRBD需要内核模块支持，2.6.33后的Linux内核已内置DRBD的支持，在此版本前，安装时需要kernel-devel包，同时编译drbd时要带上--with-km。

#./configure --prefix=/ --with-km
#make
#make install
#chkconfig --add drbd
#chkconfig drbd on

检查安装是否成功：
#drbdadm
看是否以执行成功?
#cat /proc/drbd
是否可以看到版本信息

重启后再次检查cat /proc/drbd

--------------------------------
三. 配置DRBD
--------------------------------
注意，新版本的DRBD的配置文件已拆分成多个，全部放在/etc/drbd.d/目录，具体可参考/etc/drbd.conf中的配置.
如果开了iptables防火墙，需要打开对应的7789端口。

在主节点配置/etc/drbd.d/dbdata.res：
=========dbdata.res begin===========
resource dbdata {
  on db_node1.systemadmin.cn {
device /dev/drbd1;
disk    /dev/sdb1;
address 192.168.0.201:7789;
meta-disk internal;
  }
  on db_node2.systemadmin.cn {
device /dev/drbd1;
disk    /dev/sdb1;
address 192.168.0.202:7789;
meta-disk internal;
  }
}
=========dbdata.res end===========

创建drbd设备
#drbdadm create-md all
#/etc/init.d/drbd restart

查看是否有相应的块设备：
#ls -l /dev/drbd1
#cat /proc/drbd

设置当前节点为主节点并进行格式化：
#drbdadm -- --overwrite-data-of-peer primary all
#mkfs.ext3 /dev/drbd1
#mount /dev/drbd1 /data/dbdata
#mkdir /data/dbdata/etc
#mkdir /data/dbdata/data

在从节点做如下配置：
复制dbdata.res到从节点的/etc/drbd.d/
#drbdadm create-md all
#/etc/init.d/drbd restart
通过cat /prod/drbd查看是否开始复制，以及两节点的状态。

此时开始同步两个节点的磁盘，需要一定时间，在同步完成前，请不要重启，否则会重新同步。

同步完成后，如果两个节点都是Secondary/Secondary，并且已经UpToDate了，可以挑一个节点设置为主节点：
#drbdadm primary all

DRDB的一些常规操作：
切换主从节点前，要注意umount
主从切换： drbdadm primary all, drbdadm secondary all
节点间连接：drbdadm connect|disconnect all

DRBD脑裂后的处理：
脑裂后，两个节点间数据不同步，主从关系失效，需要按下面的步骤修复：
a.在从节点如下操作：
#drbdadm secondary dbdata
#drbdadm -- --discard-my-data connect dbdata
b.在主节点上，通过cat /proc/drbd查看状态，如果不是WFConnection状态，需要再手动连接：
#drbdadm connect dbdadta

--------------------------------
四. 迁移MySQL到DRBD磁盘
--------------------------------
确保drbd当前工作正常，将/data/dbdata加载，再在主节点按如下步骤操作。
a. 关闭MySQL: /etc/init.d/mysqld stop
b. #mv /etc/my.cnf /data/dbdata/etc/
c. #ln -s /data/dbdata/etc/my.cnf /etc/my.cnf
d. 修改my.cnf，将数文件文件指向 /data/dbdata/data
e. 将原来的数据文件移动到 /data/dbdata/data
f. 再启动MySQL

从节点只需要删除/etc/my.cnf，同时，建立链接到/data/dbdata/etc/my.cnf即可。

现在已完成MySQL+DRBD的配置，但切换时仍然是手动进行，假设主节点从node1转到node2，手动操作如下：
a. 在node1上停止MySQL
b. 在node1上unmout /data/dbdata
c. 在node1上执地drbdadm secondary all，两个节点都是secondary状态后，才可以将node2设置为primary
d. 在node2上执行drbdadm primary all，将node2变成主节点
e. 观察两个节点的/proc/drbd是否正常
f. 在node2上mount /dev/drbd1 /data/dbdata
g. 在node2上面启动MySQL

建议：据说MyISAM在DRBD上容易造成数据丢失，或表文件损坏，所以此模式下最好用InnoDB，打开Binlog，同时，innodb_flush_log_at_trx_commit=1可以保证数据完整，但会严重影响性能。设置为2的话性能约有10倍提升，不过故障时可能会丢失1秒的数据。

--------------------------------
五. 安装配置HA
--------------------------------
需分别下载和安装：
* Cluster Glue 1.0.6: glue-1.0.6.tar.bz2
* Resource Agents 1.0.3: agents-1.0.3.tar.bz2
* Heartbeat 3.0.3: Heartbeat-3-0-STABLE-3.0.3.tar.bz2
鱼漂特别提醒，编译安装过程中，还会连接网络下载文件和校验xml，请在安装前确保网络连接和DNS解析正常。

A. 先安装glue
1. 从linux-ha.org下载 glue-1.0.6.tar.bz2
2. 解压
3. 编译安装:
./autogen.sh
./configure
打开lib/stonith/main.c，将version相关的注释掉，否则编译不过，有点诡异。
1、找到其64行，将其注释掉。
2、找到其76到81行全部注释掉。
3、找到其390行，将其注释

groupadd haclient
useradd -g haclient hacluster
make
make install

B. 安装Cluster agent
#./autogen.sh
#./configure
#make
#make install

C. 安装HA3.0.3
下载HA3.0.3解压并进入到源代码目录：
#./bootstrap
#./ConfigureMe configure
#make
#make install

D. 配置/etc/ha.d/ha.cf
=========ha.cf begin==============
logfacility local0
keepalive 500ms
deadtime 10
warntime 5
initdead 60
mcast eth0 225.0.0.1 694 1 0
auto_failback off
node db_node1.systemadmin.cn
node db_node2.systemadmin.cn
=========ha.cf end==============
注意，防火墙需要打开端口为694,目标Ip为225.0.0.1的udp通信

E. 配置/etc/ha.d/haresources
========haresource begin===========
db_node1.systemadmin.cn drbddisk Filesystem::/dev/drbd1::/data/dbdata::ext3 IPaddr::192.168.0.200/24/eth0 mysql
========haresource end===========

F.生成/etc/ha.d/authkeys
#( echo -ne "auth 1\n1 sha1 "; \
  dd if=/dev/urandom bs=512 count=1 | openssl md5 ) \
  > /etc/ha.d/authkeys
#chmod 0600 /etc/ha.d/authkeys

G. 编写MySQL启动脚本/etc/ha.d/resource.d/mysql
=========mysql begin============
#!/bin/bash
#
# Author: ipaddr ( admin.net [#] 163.com )
#
. /etc/ha.d/shellfuncs
case "$1" in
start)
      res=`/etc/init.d/mysqld start`
      ret=$?
      ha_log $res
      exit $ret
      ;;
   stop)
      res=`/etc/init.d/mysqld stop`
      ret=$?
      ha_log $res
      exit $ret
      ;;
   status)
      if [[ `ps -ef | grep '[m]ysqld'` > 1 ]] ; then
         echo "running"
      else
         echo "stopped"
      fi
      ;;
   *)
      echo "Usage: mysql {start|stop|status}"
      exit 1
      ;;
esac
exit 0
=========mysql end============

F. 拷贝一些常用脚本
1. 从Heartbeat-3-0源码目录的heartbeat/lib/复制hb_standby, hb_takeover到/usr/lib/heartbeat 并设置为可执行.
2. 将Cluster agent的一些文件拷到/etc/ha.d/:
cp /usr/etc/ha.d/shellfuncs /etc/ha.d/
cp -rf /etc/ha.d/* /usr/etc/ha.d/
(这个操作很奇怪，Cluster Agent与HA使用不同的目录，但又要共用文件，不知在编译agent时是否可以使用--prefix=/来解决,由于编译时间实在太长，所有没有测试)

G. 使用:
1. 设置为自启动：
chkconfig mysqld off
chkconfig --add heartbeat
chkconfig heartbeat on

2. 手动切换两个节点：
/usr/lib/heartbeat/hb_takeover 将当前节点设为主节点
/usr/lib/heartbeat/hb_standby 将当前节点设为从节点