构建一台大容量的NAT服务器

7717060

文章不错学习了！

jerrymy

收藏慢慢看。

ShadowStar

2.6.24内核的conntrack_max/buckets = 4。
增大hash_size可以减少碰撞，（hash的算法是jhash，Bob Jenkins那个），hash的计算是根据5元组来的，只要保证5元组唯一就可以，所以单IP 4W连接的说法是没有道理的。
九贱兄说的“不过这也跟实际的包的特征有很大的关系，举个例子，把来源地址随机分布，让hash表上到100W。偶的100Mb 线速转发的机器一下子就下降到 2- 3Mb了。”
我认为是由于单纯增大了max而没有调整buckets，造成碰撞增多，进行链表查找所导致的。

我测试过双CPU绑定双网卡的情况，要比单CPU处理双网卡的情况好，应该是双CPU可以同步处理两个网卡的中断，比双网卡中断争抢一个CPU的情况好。测试是用的SmartBits。

linux_admin

高手过招，地动山摇。
留名，需要时在回来查看

ippen

原帖由 kevin.tan 于 2008-7-9 10:30 发表


将tcp_timeout_established改为5分钟之后，是不是太短，会不会出现如一个ssh连接time_wait超过5分钟而断掉的情况，

又或是一个tcp连接的网游当使用者未使用超过5分钟，而需要重新登入的情况？

实际上，有些服务器设置的时间更短，180秒，到目前，还没有人投诉者类问题。网游？嘻嘻，5分钟不动？早被踢出来了

ippen

原帖由 xuledw 于 2008-7-9 10:56 发表

如果是多个内部子网的话 iptables 的POSTROUTING应该怎样写更好些
iptables -t nat -A POSTROUTING -s 内部IP地址/子网1 -o $OUTGOING -j SNAT --to $IPPOOL
iptables -t nat -A POSTROUTING -s 内部IP地址/子网2 -o $OUTGOING -j SNAT --to $IPPOOL
吗？

是这样配置，但子网的分割一定不要有重叠，否这下一条规则就无效了

kevin.tan

原帖由 ShadowStar 于 2008-7-9 14:01 发表
2.6.24内核的conntrack_max/buckets = 4。
增大hash_size可以减少碰撞，（hash的算法是jhash，Bob Jenkins那个），hash的计算是根据5元组来的，只要保证5元组唯一就可以，所以单IP 4W连接的说法是没有道理的。 ...

ShadowStar大侠好久不见，你写的ipp2p的补丁很好用。

求证一下，能支持2.6.24的内核么？谢谢

ippen

原帖由 ShadowStar 于 2008-7-9 14:01 发表
2.6.24内核的conntrack_max/buckets = 4。
增大hash_size可以减少碰撞，（hash的算法是jhash，Bob Jenkins那个），hash的计算是根据5元组来的，只要保证5元组唯一就可以，所以单IP 4W连接的说法是没有道理的。 ...

在06年，开始做这个NAT的时候，测试过双核的机器，当时的结论是nat不适合用双cpu和双核，所以一直用单核
至于测试，在测试环境中的表现，似乎双核or 双cpu有优势，但到了实际使用中，如果用双核或双cpu，流量会一直缓慢下降，直到死机，所以测试和实际使用有差距。
年初时增加设备，同事忘了调整参数，导致其中一台用的是smp内核启动，结果这台就比其他机器容易死机，所以不要用双核。

kevin.tan

原帖由 ippen 于 2008-7-9 14:17 发表



实际上，有些服务器设置的时间更短，180秒，到目前，还没有人投诉者类问题。网游？嘻嘻，5分钟不动？早被踢出来了

嗯，网游5分钟不动我说的是指在大厅里，没座到座位的情况，不过现网游多用UDP

谢谢ippen兄指教

ShadowStar

原帖由 kevin.tan 于 2008-7-9 14:24 发表


ShadowStar大侠好久不见，你写的ipp2p的补丁很好用。

求证一下，能支持2.6.24的内核么？谢谢

说句实话，目前在做的就是内核方面的工作。所以也没时间维护特征码的更新了。

ipp2p那个在2.6.24／iptables-1.4.0上工作没什么问题，也做了一些改进。但是不太好往外摘，因为我都是直接做到内核代码树里的，没有原来的单独tar包了。