conntrack模块对网络性能影响测试报告!

cbchen

今天对ip_conntrack模块的性能做了一个测试．
测试环境(e6320 cpu,e1000网卡)

-------------------------------------------------
没有加载conntrack,nat模块前
包转发状况:
Average:         eth1  24236.46  25199.10 8868347.25 20950540.16      0.00      0.00      0.00
Average:         eth2      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth3      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth4  24887.51  23975.12 20625524.08 8809559.54   
cpu利用率在20.5%
-------------------------------------------------
加载conntrack,nat模块后
包转发状况
Average:         eth1  22697.60  24289.71 8252457.54 20388443.86      0.00      0.00      0.00
Average:         eth2      1.70      0.00    131.67      0.00      0.00      0.00      0.00
Average:         eth3      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth4  24277.52  22766.73 20382810.39 8282738.26      0.00      0.00      0.00

cpu利用率在27%左右

可见conntrack模块的影响还是很大的．加载后cpu有6.5%的提升.

wsgtrsys

如果不用netfilter呢？

金西

Average:         eth1  22697.60  24289.71 8252457.54 20388443.86      0.00      0.00      0.00
Average:         eth2      1.70      0.00    131.67      0.00      0.00      0.00      0.00
Average:         eth3      0.00      0.00      0.00      0.00      0.00      0.00      0.00
Average:         eth4  24277.52  22766.73 20382810.39 8282738.26      0.00      0.00      0.00
以上是什么抓出来呢？

wtll

写个shell 分析  /proc/net/dev

wtll

打开e1000的NAPI看看,速度可能有所提高.

cbchen

napi模式已经打开.是的,打开napi后,在大流量下的确cpu利用率有所降低....

platinum

什么测试环境？桥模式？路由模式？还是直接访问本机？
有无策略？lsmod 和 iptables-save 的结果是怎样的？
全是大包？测试？

cbchen

测试环境很单纯，就是A<----->测试机<---------->B
测试机位于桥模式,然后A ,B 两台机器用DDOS进行测试。
iptables没有任何规则。
测试大包，小包均作了测试。上面的结果是我抓的其中的一个。

cbchen

这个是用sar -n DEV 2 10命令抓的

cbchen

对于linux网络部分性能的优化(有conntrack模块下)，我把目前我所知道的方法列在下面，大家一起来补充:
1 增加ip_conntrack_buckets和ip_conntrack_max的值
2 网卡启用napi模式(对小包效果明显）
3 启用irq balance
4 编译内核的时候将conntrack模块中是否启用统计去掉(统计包数量和字节,去掉后conn_bytes模块将不能用)
5 修改内核netfilter代码，将iptables规则表中的统计功能去掉(包数量和字节)
6 想修改conntrack模块，对于本机的访问不写入conntrack hash表(尚未实现)
.......
大家继续补充