免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 8541 | 回复: 9

[原创] LVS+Heartbeat配置Linux服务器群集 [复制链接]

论坛徽章:
0
发表于 2011-08-29 16:30 |显示全部楼层
本帖最后由 qtsunk 于 2011-08-29 16:32 编辑

【实验配置环境】
服务器系统:CentOS-5.6
LVS主节点(lvs-master):192.168.2.250(eth0) 心跳直连接口:192.168.1.250(eth1)
LVS备节点(lvs-backup):192.168.2.251(eth0) 心跳直连接口:192.168.1.251(eth1)
Web Server-1:192.168.2.252
Web Server-2:192.168.2.253
VIP(虚拟IP):192.168.2.254
注:4台服务器已经配置好LNMPLinux+Nginx+PHP(FastCGI模式)+Mysql)网站运行环境,当然使用apache也可以。这里主备节点也当作真实服务器使用,所以也配置了网站环境。



主备调度器eth1接口使用交叉线相连(理论上是这样)
线序为: 一头为568A标准:白绿,绿;白橙,蓝;白蓝,橙;白棕,棕
另一头为568B标准:白橙,橙;白绿,蓝;白蓝,绿;白棕,棕

在LVS主节点和备节点的/etc/hosts中加入以下内容:
#vim /etc/hosts

192.168.2.250 lvs-master
192.168.2.251 lvs-backup修改主机名:

# vim /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=lvs-master
GATEWAY=192.168.2.1# vim /etc/hosts

# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1 lvs-master localhost.localdomain localhost
::1 localhost6.localdomain6 localhost6这2个文件都要修改,修改完后重启生效,备份机修改方法一样,不在重述。

【下载软件】
[libnet]
wget http://search.cpan.org/CPAN/authors/id/G/GB/GBARR/libnet-1.22.tar.gz
[ipvsadm]
wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.24.tar.gz
[Heartbeat]
wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/STABLE-3.0.4.tar.bz2
[Cluster Glue]
wget http://hg.linux-ha.org/glue/archive/glue-1.0.7.tar.bz2
[Resource Agents]
wget https://download.github.com/ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz

一、 配置LVS主节点(lvs-master)
1. 安装libnet
# tar zxvf libnet-1.1.2.2.tar.gz
# cd libnet
# ./configure
# make && make install
# cd ..

2. 安装ipvsadm
# yum install kernel-devel //安装对应内核的kernel-devel
# tar zxvf ipvsadm-1.24.tar.gz
# cd ipvsadm-1.24
# ln -s /usr/src/kernels/`ls /usr/src/kernels/` /usr/src/linux //将当前使用内核连接到/usr/src/linux
# make && make install
# cd..

3. 安装Heartbeat
3.1 确认系统已经安装以下软件(系统光盘中有)
libxslt、libxslt-devel、libgcrypt-devel、autoconf、automake、pkgconfig、libgpg-error-devel、libtool、sgml-common、opensp、openjade、xml-common、docbook-dtds、docbook-style
如果在编译安装过程中出错,很有可能是因为缺少了相关的软件包

3.2 安装glue
# groupadd haclient
# useradd -g haclient -M -s /sbin/nologin hacluster
# tar jxvf glue-1.0.7.tar.bz2
# cd Reusable-Cluster-Components-glue--glue-1.0.7/
# ./autogen.sh
# ./configure
# make && make install
# cd ..

3.3 安装 agents
# tar zxvf ClusterLabs-resource-agents-agents-1.0.4-0-gc06b6f3.tar.gz
# cd ClusterLabs-resource-agents-c06b6f3/
# ./autogen.sh
# ./configure
# make && make install
# cd..

3.4 安装Heartbeat
# tar jxvf Heartbeat-3-0-STABLE-3.0.4.tar.bz2
# cd Heartbeat-3-0-STABLE-3.0.4
# ./ConfigureMe configure
# gmake && make install
# cd..

4. 配置lvs启动脚本
本实验采用的是lvs-DR模式,该模式的特点是客户端的请求从主/备节点进入分配到web server,然后web server的响应是直接交付给客户端的。
# vim /etc/init.d/lvs

  1. #!/bin/sh
  2. #chkconfig: 2345 20 80
  3. #description: start_lvs_of_dr

  4. VIP1=192.168.2.254
  5. RIP1=192.168.2.250
  6. RIP2=192.168.2.251
  7. RIP3=192.168.2.252
  8. RIP4=192.168.2.253

  9. ./etc/rc.d/init.d/functions
  10. case "$1" in
  11. start)
  12. echo "开启LVS DirectorServer..."
  13. #设置虚拟IP地址
  14. #LVS启动时添加VIP的网口eth0:0
  15. /sbin/ifconfig eth0:0 $VIP1 broadcast $VIP1 netmask 255.255.255.255 up
  16. /sbin/route add -host $VIP1 dev eth0:0
  17. #清除IPVS表
  18. /sbin/ipvsadm -C
  19. #设置LVS
  20. /sbin/ipvsadm -A -t $VIP1:80 -s lc
  21. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP1:80 -g
  22. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP2:80 -g
  23. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP3:80 –g
  24. /sbin/ipvsadm -a -t $VIP1:80 -r $RIP4:80 -g
  25. #使用ipvsadm来转发客户端请求。-s lc为最小连接数算法,-g是采用DR模式。有多少RIP就添加几条记录。
  26. #启动LVS
  27. /sbin/ipvsadm
  28. ;;

  29. stop)
  30. echo "停止LVS DirectorServer..."
  31. #关闭时清除ipvsadm表
  32. /sbin/ipvsadm –C
  33. ;;

  34. *)
  35. echo "Usage: $0 {start|stop}"
  36. exit 1
  37. esac注:这个脚本不要使用chkconfig管理,放入/etc/init.d内即可。
复制代码


5. 安装ldirectord相关组件
默认安装完上面的三个软件包之后,ldirectord已经安装到系统中,默认路径在 /usr/etc/ ,由于ldirectord是由perl语言编写的,所以必须安装相关的软件包:Socket6、libwww-perl、URI、MailTools、HTML-Parser
# yum -y install perl-Socket6 perl-libwww-perl perl-URI perl-MailTools perl-HTML-Parser

也可以在http://search.cpan.org/网站下载相关软件包安装
安装方法:
# perl Makefile.PL
# make && make install

6. 配置heartbeat
# cp -a /usr/etc/ha.d/ /etc/
# rm -fr /usr/etc/ha.d/
# ln -s /etc/ha.d/ /usr/etc/
# cp /usr/share/doc/haresources /etc/ha.d/
# cp /usr/share/doc/authkeys /etc/ha.d/
# cp /usr/share/doc/ha.cf /etc/ha.d/
# chmod 600 /etc/ha.d/authkeys //这个文件的权限必须是600

6.1 修改配置文件
6.1.1 authkeys文件配置(authkeys文件的作用是用来设置心跳信息的加密方式)
vim /etc/ha.d/authkeys

auth 1
1 crc
#2 sha1 HI!
#3 md5 Hello!此设置是使用crc循环冗余校验,不采用加密的方式。

6.1.2 ha.cf为heartbeat的主配置文件,修改下面配置。
# vim /etc/ha.d/ha.cf

  1. #日志文件位置
  2. logfile /var/log/ha-log
  3. #指定主备服务器多久发送一次心跳
  4. keepalive 2
  5. #指定30秒没有收到对方心跳就认为对方已经down机
  6. deadtime 30
  7. #10秒没有收到心跳,便发出警报。
  8. warntime 10
  9. #对方DOWN后120秒重新检测一次。
  10. initdead 120
  11. #指定监听端口
  12. udpport 694
  13. #心跳监听网口,这里为eth1
  14. bcast eth1 //去掉后面#linux
  15. #备份机的心跳线接口与接口IP
  16. ucast eth1 192.168.1.251
  17. #主节点恢复后,自动收回资源。
  18. auto_failback on
  19. #指定主备服务器的主机名称,即在hosts文件中指定的。第一个node为主服务器,第二个node为备服务器。
  20. node lvs-master //服务器的主机名
  21. node lvs-backup
  22. #当192.168.2.1、192.168.2.2这两个IP都不能ping通时,对方即开始接管资源。
  23. ping_group group1 192.168.2.1 192.168.2.2
  24. #启用ipfail脚本
  25. respawn root /usr/lib/heartbeat/ipfail
  26. #指定运行ipfail的用户。
  27. apiauth ipfail gid=root uid=root6.1.3 haresources文件配置,这个文件是指定虚拟IP和改主机控制的脚本。
  28. # vim /etc/ha.d/haresources

  29. lvs-master 192.168.2.254 lvs ldirectord
  30. // master.lvs.net可为主节点主机名,192.168.2.254为虚拟IP6.1.4 ldirectord.cf是ldirectord进程的配置文件,该进程用来监视web server的运行状况,如果web server不能响应请求则把它排除在转发列表外。
  31. 复制安装文件ldirectord目录上的ldirectord.cf 到/etc/ha.d/conf下,如果找不到可以查找一下:find / -name ldirectord.cf
  32. # mkdir /etc/ha.d/conf
  33. # cp ldirectord.cf /etc/ha.d/conf
  34. # vim /etc/ha.d/conf/ldirectord.cf

  35. # Global Directives
  36. #设置真实web server的超时时间
  37. checktimeout=30
  38. #监视真实web server的时间间隔
  39. checkinterval=10
  40. #如全部真实web server失败,则转发至本地
  41. fallback=127.0.0.1:80
  42. #改变配置文件内容,不需要重新ldirectord
  43. autoreload=yes
  44. #指定日志位置
  45. logfile="/var/log/ldirectord.log"
  46. quiescent=no

  47. # A sample virual with a fallback that will override the gobal setting
  48. #指定虚拟IP
  49. virtual=192.168.2.254:80
  50. #指定真实web server IP及监听端口
  51. real=192.168.2.250:80 gate
  52. real=192.168.2.251:80 gate
  53. real=192.168.2.252:80 gate
  54. real=192.168.2.253:80 gate
  55. fallback=127.0.0.1:80 gate
  56. service=http
  57. #指定转发算法
  58. scheduler=lc //这里的算法要和LVS脚本的算法一样
  59. protocol=tcp
  60. #监视VIP服务器的方法
  61. checktype=negotiate
  62. checkport=80
  63. #监听测试页面名称,这个页面放入真实web server web服务的根目录
  64. request="lvs_testpage.html"
  65. #指定测试页面返回内容
  66. receive="Test Page"
  67. virtualhost= lvstest.net配置文件中的lvs_testpage.html必须存在网站根目录下,校验一下配置:
复制代码


# ldirectord -d /etc/ha.d/conf/ldirectord.cf start //按Ctrl+C结束
# cp /etc/ha.d/shellfuncs /usr/lib/ocf/resource.d/heartbeat/.ocf-shellfuncs

以上lvs和heartbeat配置完成。
LVS备节点(lvs-backup)的配置和LVS主节点(lvs-master)完全一样。
只是在/etc/ha.d/ha.cf中“ucast eth1 192.168.1.251”此配置地址不一样。

二、配置真实web server脚本
在每台web server的/etc/init.d目录下放置realserver脚本,这里主备节点同时也作为web server使用。
# vim /etc/init.d/realserver

  1. #!/bin/bash
  2. # chkconfig: 2345 20 80
  3. # description: lvs_dr_realserver

  4. #指定虚拟IP
  5. VIP=192.168.2.254
  6. host=`/bin/hostname`
  7. case "$1" in
  8. start)
  9. # Start LVS-DR real server on this machine.
  10. /sbin/ifconfig lo down
  11. /sbin/ifconfig lo up
  12. #修改相关内核参数
  13. echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
  14. echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
  15. echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
  16. echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

  17. /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 up
  18. /sbin/route add -host $VIP dev lo:0
  19. ;;
  20. stop)
  21. # Stop LVS-DR real server loopback device(s).
  22. /sbin/ifconfig lo:0 down
  23. ;;
  24. status)
  25. # Status of LVS-DR real server.
  26. islothere=`/sbin/ifconfig lo:0 | grep $VIP`
  27. isrothere=`netstat -rn | grep "lo" | grep $VIP`
  28. if [ ! "$islothere" -o ! "$isrothere" ];
  29. then
  30. # Either the route or the lo:0 device
  31. # not found.
  32. echo "LVS-DR real server Stopped."
  33. else
  34. echo "LVS-DR Running."
  35. fi
  36. ;;
  37. *)
  38. # Invalid entry.
  39. echo "$0: Usage: $0 {start|status|stop}"
  40. exit 1
  41. ;;
  42. esac# chmod +x /etc/init.d/lvs
  43. # chmod +x /etc/init.d/realserver
  44. # service heartbeat start //主备LVS调度器上执行
  45. # /etc/init.d/lvs start //主备LVS调度器上执行
  46. # /etc/init.d/realserver start //真实web服务器上执行

  47. # chkconfig --level 35 heartbeat on
  48. # echo “/etc/init.d/lvs start” >> /etc/rc.local //开机启动
  49. # echo “/etc/init.d/realserver start” >> /etc/rc.local //开机启动
复制代码


三、测试
配置我已经测试过了,但是不同系统环境可能会出一些意料之外的事情。


推荐阅读:LVS的调度算法和三种工作模式

本文链接地址:http://www.linuxde.net/2011/06/111.html
除非注明,其他均为原创或编译文章,转载请注明: 文章转载自
Linux每日一文

评分

参与人数 1可用积分 +5 收起 理由
yuhongchun + 5 谢谢分享!!!

查看全部评分

论坛徽章:
0
发表于 2011-08-30 11:13 |显示全部楼层
不错,非常详细,谢谢分享

论坛徽章:
0
发表于 2011-08-30 13:57 |显示全部楼层
本帖最后由 gun007_cu 于 2011-08-30 14:15 编辑

@qtsunk

拓扑图中虚拟IP写错。

论坛徽章:
0
发表于 2011-08-31 09:34 |显示全部楼层
好文章,放分享

论坛徽章:
0
发表于 2011-08-31 10:30 |显示全部楼层
回复 1# qtsunk

基础实验 必须要掌握好的操作技能

论坛徽章:
0
发表于 2011-08-31 16:27 |显示全部楼层
很详细,收藏~~

论坛徽章:
0
发表于 2011-09-01 18:50 |显示全部楼层
回复 3# gun007_cu


    悲剧,如此低级错误。谢谢提醒

论坛徽章:
0
发表于 2011-09-06 09:13 |显示全部楼层
为什么不用lvs+keepalived呢

论坛徽章:
0
发表于 2011-09-10 14:44 |显示全部楼层

论坛徽章:
0
发表于 2011-09-12 10:49 |显示全部楼层
/etc/init.d/lvs既然有使用ipvsadm配置了,那么/etc/ha.d/conf/ldirectord.cf就不需要配置了。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP