论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-03-05 09:39 |只看该作者 |倒序浏览

本帖最后由 busyant 于 2010-03-07 14:00 编辑

用RHEL 5.4 弄了一套LVS+mail server，router和real server都是双节点。简单测试下来一切正常，也简单做了一下高并发测试，没发现问题。
上线后问题来了：

跑了大概2天后，用户反映外部邮件有较大延迟，上梭子鱼垃圾邮件防火墙一看，乖乖，1.5万多的out队列，原因无一例外是“connect to xxx.xxx.241.96 timeout”，这可就奇了，rs和lvs router的负载都极低，网络连接数ESTABLISHED状态的也不到200。没办法，只好紧急改了realserver的IP，切成单机工作模式。

昨天设置 ipvsadm --set 180 30 100 后，切了一台RS过来收邮件，一开始一切正常，我1分钟内发了600封邮件给邮件防火墙，也能很快发进来。没想到大概4小时后再看防火墙的队列，“connect to xxx.xxx.241.96 timeout”的情况又出来了，队列开始拥堵。

我简直想不通了，是LVS NAT模式下性能很烂？还是我人品有问题？

今天过来重新跑起来看了一下，发现RS上好多与防火墙间FIN_WAIT1 和FIN_WAIT2 的连接，也就是半关闭，在等待防火墙关闭的连接。而单机模式下，最多的是time_wait。
不知道是不是和修改了ipvsadm --set 180 30 100有关。

难道没有大家用lvs都很正常？

文库|博客

busyant

家境小康

论坛徽章:: 0

2楼 [报告]

发表于 2010-03-05 15:34 |只看该作者

NND，FIN_WAIT 的问题找到了。
因为之前要加connlimit限制并发连接数，在lvs router上加了这个iptables规则：

iptables -A INPUT -p tcp -m conntrack --ctstate INVALID -j DROP

估计是iptables的conntrack和LVS的NAT forward配合有问题，没详细深究。
我脑子也秀逗的，之前做的lvs没有问题的，基本的差别也就在这条规则上了。笨！
去掉这个规则后FIN_WAIT问题就没有了。
现在继续跑着，看看3-4小时后timeout的问题还会不会再出现。