keepalived +LVS,后端真实服务频繁上下线！！！！

dghsmq

最近用VMWARE装了4台ubuntu进行keepalived测试，发现后端真实服务器不断的掉线，PING真实服务器测试正常，抓包查看TCP检查也正常，不知啥问题，请大侠帮忙看一下谢谢！
抓包情况：

配置：
# cat /etc/keepalived/keepalived.conf
# Global Configuration
global_defs {
        lvs_id director1
}
# VRRP Configuration
vrrp_instance LVS {
        state MASTER
                interface eth0
                lvs_sync_daemon_interface eth0
                virtual_router_id 51
                priority 150
                advert_int 1
                authentication {
                        auth_type PASS
                                auth_pass 123456

                }
        virtual_ipaddress {
                192.168.5.100
                }
         }

# Virtual Server Configuration - for WWW service
        virtual_server 192.168.5.100 80 {
                delay_loop 1
                        lb_algo rr
                        lb_kind DR
#                       persistence_timeout 60
                        protocol TCP

# Real Server 1 configuration
                        real_server 192.168.5.63 80 {
                                weight 10
                                        TCP_CHECK {
                                                connection_timeout 10
                                                        nb_get_retry 3
                                                        delay_before_retry 3
                                                         connect_port 80
                                        }
                        }
                                real_server 192.168.5.64 80  {
                                        weight 3
                                                TCP_C HECK {
                                                        co nnection_timeout 3
                                                                nb_get_retry 3
                                                                delay_before_retry 3
                                                                 connect_port 80
                                                }
                                }
                }

LOG信息如下：


Nov  7 10:17:35 ubuntu Keepalived_healthcheckers[1934]: Lost quorum 1-0=1 > 0 for VS [192.168.5.100]:80
Nov  7 10:17:36 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.63]:53 success.
Nov  7 10:17:36 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.63]:80 to VS [192.168.5.100]:80
Nov  7 10:17:36 ubuntu Keepalived_healthcheckers[1934]: Gained quorum 1+0=1 <= 10 for VS [192.168.5.100]:80
Nov  7 10:17:36 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 success.
Nov  7 10:17:36 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.64]:80 to VS [192.168.5.100]:80
Nov  7 10:17:37 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 failed !!!
Nov  7 10:17:37 ubuntu Keepalived_healthcheckers[1934]: Removing service [192.168.5.64]:80 from VS [192.168.5.100]:80
Nov  7 10:17:38 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 success.
Nov  7 10:17:38 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.64]:80 to VS [192.168.5.100]:80
Nov  7 10:17:39 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.63]:53 failed !!!
Nov  7 10:17:39 ubuntu Keepalived_healthcheckers[1934]: Removing service [192.168.5.63]:80 from VS [192.168.5.100]:80
Nov  7 10:17:40 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 failed !!!
Nov  7 10:17:40 ubuntu Keepalived_healthcheckers[1934]: Removing service [192.168.5.64]:80 from VS [192.168.5.100]:80
Nov  7 10:17:40 ubuntu Keepalived_healthcheckers[1934]: Lost quorum 1-0=1 > 0 for VS [192.168.5.100]:80
Nov  7 10:17:50 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.63]:53 success.
Nov  7 10:17:50 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.63]:80 to VS [192.168.5.100]:80
Nov  7 10:17:50 ubuntu Keepalived_healthcheckers[1934]: Gained quorum 1+0=1 <= 10 for VS [192.168.5.100]:80
Nov  7 10:17:50 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 success.
Nov  7 10:17:50 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.64]:80 to VS [192.168.5.100]:80
Nov  7 10:17:51 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.63]:53 failed !!!
Nov  7 10:17:51 ubuntu Keepalived_healthcheckers[1934]: Removing service [192.168.5.63]:80 from VS [192.168.5.100]:80
Nov  7 10:17:51 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 failed !!!
Nov  7 10:17:51 ubuntu Keepalived_healthcheckers[1934]: Removing service [192.168.5.64]:80 from VS [192.168.5.100]:80
Nov  7 10:17:51 ubuntu Keepalived_healthcheckers[1934]: Lost quorum 1-0=1 > 0 for VS [192.168.5.100]:80
Nov  7 10:17:54 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 success.
Nov  7 10:17:54 ubuntu Keepalived_healthcheckers[1934]: Adding service [192.168.5.64]:80 to VS [192.168.5.100]:80
Nov  7 10:17:54 ubuntu Keepalived_healthcheckers[1934]: Gained quorum 1+0=1 <= 3 for VS [192.168.5.100]:80
Nov  7 10:17:55 ubuntu Keepalived_healthcheckers[1934]: TCP connection to [192.168.5.64]:53 failed !!

dghsmq

真实服务器 iptables 什么都关了，单机测试网页正常，PING也没用丢包，有大侠知道keepalived的TCP端口检查机制的详细原理吗？

看拆包显示的原理 是：均衡服务器主动发起SYN给真实服务器，三次握手成功后，确定真实服务器正常，然后发 RST给真实服务器断开该TCP连接。

但均衡服务器就是认为真实服务器不可用！将该条目删除。

briandeng

虚拟机网卡争用导致。

qq58945591

换HTTP_GET 方式检测试试呢？

dghsmq

我不部署keepalived，只部署LVS是正常的，不存在争用情况吧、抓包也看不出来有什么异常回复 3# briandeng


   

dghsmq

回复 4# qq58945591


    晚上我试试

dghsmq

回复 4# qq58945591
用HTTP_GET 方式正常，谢谢！


   

action08

苏州微信 发表于 2014-11-28 10:35
如果并发量不大的，个人建议用haproxy。
lvs不错，不过只能在4层工作。很多应用起来不是很方便。
不知道我 ...

支持你的观点，现实能锻炼的环境就只有那几家公司了