并发链接高时，新建连接timeout.

cduedu

咨询一个问题，目前我们在测试一个文件系统，如果效果好的话，引入到我们的系统中。这个系统我们是安装的本地文件系统，可以理解成一个本地的NFS文件系统。当前的问题是这样的，使用两台配置完成相同物理机器，一个安装文件系统，一个使用传统的EXT3挂载；从测试的现象来看，两台服务器的负载都可以达到网络最大吐出能力（网络出口后2块1GE网卡做绑定mode 5，吐出流量达到1.95G以上）。当达到以上业务吐出高峰时，使用vmstat查看安装了文件系统的服务器IO等待在15%左右，低于对比机7个百分点。但安装了文件系统的机器出现大量的新建连接失败，而未安装的文件系统的机器不存在这样的情况。
       测试方式：
1.        预先将文件分布到不同的数据硬盘上，然后使用nginx对外提供下载。
2.        每一个文件基本完全相同，大小均为20M。

当安装文件系统出现大量连接失败的时候，在message里面看到这样的日志：
Jan 16 05:00:01 iCache syslog-ng[3561]: Configuration reload request received, reloading configuration;
Jan 16 05:00:01 iCache syslog-ng[3561]: New configuration initialized;
Jan 16 05:00:02 iCache kernel: [173338.832158] __ratelimit: 2 callbacks suppressed
Jan 16 05:00:02 iCache kernel: [173338.832161] martian source 129.42.8.255 from 129.42.8.248, on dev bond0
Jan 16 05:00:02 iCache kernel: [173338.832163] ll header: ff:ff:ff:ff:ff:ff:00:22:a1:09:05:3e:08:00
Jan 16 05:00:02 iCache kernel: klogd 1.4.1, ---------- state change ----------
Jan 16 05:00:02 iCache kernel: [173339.331407] martian source 129.42.8.255 from 129.42.8.248, on dev bond0
Jan 16 05:00:02 iCache kernel: [173339.331410] ll header: ff:ff:ff:ff:ff:ff:00:22:a1:09:05:3e:08:00
Jan 16 05:00:03 iCache kernel: [173339.830659] martian source 129.42.8.255 from 129.42.8.248, on dev bond0
Jan 16 05:00:03 iCache kernel: [173339.830661] ll header: ff:ff:ff:ff:ff:ff:00:22:a1:09:05:3e:08:00
Jan 16 05:00:03 iCache kernel: [173340.329920] martian source 129.42.8.255 from 129.42.8.248, on dev bond0
Jan 16 05:00:03 iCache kernel: [173340.329922] ll header: ff:ff:ff:ff:ff:ff:00:22:a1:09:05:3e:08:00
Jan 16 05:00:04 iCache kernel: [173340.829170] martian source 129.42.8.255 from 129.42.8.248, on dev bond0

大家有没有遇到过这种问题，我们应该从那方面入手解决新建连接失败的问题？http 并发量在4000左右。

llzqq

交换机上做了端口聚合了吗？ 类似的问题的还不少，参考一下：

http://www.google.com.hk/search? ... +%E6%90%9C%E7%B4%A2

cduedu

好的，我下午查下，多谢。

q1208c

1. Jan 16 05:00:02 iCache kernel: [173338.832158] __ratelimit: 2 callbacks suppressed

复制代码

这条注意一下.

cduedu

回复 2# llzqq

mod=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）
特点：不需要任何特别的switch(交换机)支持的通道bonding。在每个slave上根据当前的负载（根据速度计算）分配外出流量。如果正在接受数据的slave出故障了，另一个slave接管失败的slave的MAC地址。
该模式的必要条件：ethtool支持获取每个slave的速率
mod5的场景下不用在交换机上做端口汇聚啊？
跟公司数通高手确认也是这么说的.

cduedu

回复 4# q1208c

这条日志我也注意到了，但找了很久没有找到有用的信息呢，能提示下？


   

q1208c

回复 6# cduedu

这条消息应该来自哪个limit mod, 也就是说, 有流量控制的. 你看一下是不是在哪里设置了流量限制. 或者默认的限制起作用了.