节点上万的网络，如何做流量控制？欢迎讨论

colddawn

原帖由 bigrong 于 2006-12-11 17:26 发表

有些不同意这位同志的说法。我不卖硬件，大家可以放心，我只是网络世界报社的一个普通编辑而已。
老实讲，我觉得服务器跑不快不是因为CPU性能不好，而是说他们的I/O架构还是有问题的。二一些路由器或者好的防火 ...

刚好有比较懂硬件的人来了。探讨一下

首先我们的共识是硬件设备的优势在于硬件加速带来的高性能转发和低延迟，而劣势在于CPU内存等配置劣于普通PC，这个相信没有异议吧。

对于千兆线速转发，LZ的环境用不到，但我还是乐意提及一下：这里PC确实不行，瓶颈在PCI总线，然而使用了PCI-X甚至PCI-E总线的网络设备应该就不存在问题了吧，现在很多所谓的硬防不过是使用了PCI-X的网卡的Server，性能虽然不如纯硬，但也不弱，至少理论上的瓶颈不存在了。
你所说的硬件加速能力，大多数情况应该仅限于IP层以及以下的层次吧，这样快速查表的能力应该仅限于IP转发以及Mac地址表，至于4层NAT或者PAT表，有硬件设备能提供加速能力吗？应该也是CPU来进行的吧？如果是，那还是比拼CPU，PC肯定不弱。

至于你说到的PAT，真的对于NAT性能有本质提升吗，对于这个技术我非常不熟悉，希望能给点技术资料，但从你的话中感觉似乎PAT只是优化过的NAT吧，并无从软件到硬件的改变？另外是否能提供一些设备的NAT或PAT的并发会话能力的大体指标？

对于PC和硬件的选择，我并没有单方面全盘否定，事实证明硬件设备还是在很多地方必须应用的，但是现在的情况有很多人极力夸大硬件设备的能力，这是不可取的。至少要权衡价格以及功能之后，再做比较理智的判断吧。

seven007

原帖由 colddawn 于 2006-12-12 09:54 发表



刚好有比较懂硬件的人来了。探讨一下

首先我们的共识是硬件设备的优势在于硬件加速带来的高性能转发和低延迟，而劣势在于CPU内存等配置劣于普通PC，这个相信没有异议吧。

对于千兆线速转发，LZ的环 ...

这是比较中肯的说法，这个帖子越来越该关注了

bigrong

pat是NAT的一种，现在的NAT大家基本都用PAT，即用端口号区别不同的源地址，或者说是session。
如果说能够把一切变成查表，匹配、处理的操作的话，硬件都回很快的跟上来，而且做得非常快，超过传统CPU的处理。而且查表处理的硬件技术发展也是从最初的普通定长匹配，向着后来的不定长匹配来做的。就像我前面说的从二层交换机到三层交换及，到路由器，到防火墙等等。举个例子，三层交换机第一代是流转发，当时做不定长的匹配还是比较慢（硬件），所以偷了个小懒，改成流匹配。而现在新的三层交换机，特别是高端产品再向着拓扑转发，这就是硬件查表设备技术革新和降价的结果。再比如，过去ACL都要靠CPU来做，现在ACL都可以靠硬件来做，为什么？一样的道理。
好的硬件防火墙，要不使用NP架构，要不使用ASIC架构来提高硬件查表匹配的速度。这样就把CPU的能力释放出来，作更多高层的应用，比如现在比较难办的对病毒的处理，比较难办的IPS/IDS。还有就是网络管理功能。
但是，这个世界上总有些人喜欢混淆视听，比如有人说自己的防火墙是ASIC，但是实际上他们的ASIC至多是用在底层的成frame地方。你说没有ASIc，他有，但是起作用吗？不起。很显然。但是并不能一棒子全打死。
如果说光比拼CPU的话，很多防火墙和路由器都会败下阵来。比如说很多交换机的CPU还是比较老的moto cpu。一些防火墙的cpu（包括上面提到的所谓ASIC防火墙的CPU，可能就是一个PC级或者是PDA级别的CPU）。即使是一些出色的硬件防火墙也是这样，CPU速度未必很快。这其中可能有几个原因，因为我没有做过研发所以只能去揣测。揣测稍微大些的厂商，对那些搞个工控机，敲一个盒子，几个稍懂Linux和安全的工程师就凑起来的草台班子不再下属揣测当中。
首先一般防火墙这样的设备的设备生命周期比较长差不多在用户那里是用的时间在3-5年，而厂商一般要维持的设备生命周期也在这样的时间，所以要找一个性价比最好的产品，而且生命周期比较长的CPU。还要考虑备件等等因素，而PC行业则是每年必上一个台阶，比如Intel和AMD没有好好优化过IO等架构，使劲儿提升CPU性能……所以很多厂商会采用的CPU会慢一些。至少不是最快的。
其次，好的防火墙的PM会有定位，比较明确的。当然在国内的销售过程中可能被曲解了。比如低端的CPU为主，主要针对小客户。但是你遇到的销售看你兜里钱不多，可能也告诉你能用没问题。高端的呢，则会是ASIC或者NP这样的架构，他们会有一个优化，就是尽可能重复的工作可以交给硬件设备作，而复杂的需要动脑子的交给CPU。就像前面说的随着ASIC等硬件水平的提高，这个过程在变化，从最早的成frame切Frame，后来的2/3转发，到后来的4层控制，基于状态的控制等等。CPU则会做一些需要一些智商的工作，比如网管比如过去的pat、状态检测，现在的防病毒、IDS、IPS。防BT究竟靠什么可以做呢？我觉得可能要分开看，但是我对这个没有各位经验丰富。所以胡说一下，首先是看设备能够切多大的信息出来，有些交换机可以防BT，靠一些特征码，比如BT协议里的特征码，这个一般在TCP头的某个部分或者TCP头之后的某个部分，要看设备在切包的时候是否能够切到（切下来原来就是为了匹配的比如匹配转发表、ACL）。要不就是彻底的全读，全部检测有些硬件可以做到高性能的检测，比如一些超牛的IPS。不行的估计则要靠CPU了。但是这样的架构还是尽可能少让CPU做得就少做。因为CPU要做的工作很多，更不能让他处于濒死状态。所以这种情况，CPU就不是这样高端设备NB指数所在了。
好的硬件防火墙设备还有一个好处是更好的硬件和软件架构。举个小例子，有时候设备会遭受DDoS攻击，好的设备会考虑到这点，在软件和硬件上就控制。但是操作系统要想做到，难度还是比较大的。

多说两句无关的。因为我是一个旁观者，所以观点和大家不一样。
我觉得可能有些网络管理人员还是很喜好自己动手，又长知识又好玩，还省钱。还能够赢得朋友们的尊敬，提升自己的NB指数。多好呀！老实讲这样看的确没错。但是，抱歉我用了但是。但是这样做真的有意义吗？你们领导会因为这个就很赞许你吗？买硬件设备的钱真的该省吗？省了这笔钱，但是假如您没玩好呢？假如您需要较长的时间搞定呢？最后会不会落下一句骂名，该省的不省，不该省的地方乱省。老板首先考核的不就是你们保障是否有利，其次才是你少花了多少钱，或者说你技术水平提高了多少。没有几个老板关心你技术提高了多少。
我觉得管理员需要做好以下事情，技术是必然的，不提了。做好内部沟通，乃至销售，让老板认识到你工作的重要性，该花钱的时候能批，本该花的钱不花成了利润，最后也不分给你，连加班费都不多给一分。何必呢。其次做好测试和选型，拨开迷雾看真相。跟我有次的演讲题目一样了。

colddawn

呵呵，既然上升到ASIC和NP的角度，那做比较本身已经不公平了。不过我个人还是有些置疑这些架构所谓的硬件查表能力究竟能不能用于NAT及高层包分析。就我目前的资料来看，这些架构只能对于IP转发之类的查表做硬件加速。高层的硬件加速可能真的需要相应的操作系统支持才能实现吧，不知国内在此领域究竟达到什么高度了。

wxw2004gl

我觉得可能有些网络管理人员还是很喜好自己动手，又长知识又好玩，还省钱。还能够赢得朋友们的尊敬，提升自己的NB指数。多好呀！老实讲这样看的确没错。但是，抱歉我用了但是。但是这样做真的有意义吗？你们领导会因为这个就很赞许你吗？买硬件设备的钱真的该省吗？省了这笔钱，但是假如您没玩好呢？假如您需要较长的时间搞定呢？最后会不会落下一句骂名，该省的不省，不该省的地方乱省。老板首先考核的不就是你们保障是否有利，其次才是你少花了多少钱，或者说你技术水平提高了多少。没有几个老板关心你技术提高了多少。  我觉得管理员需要做好以下事情，技术是必然的，不提了。做好内部沟通，乃至销售，让老板认识到你工作的重要性，该花钱的时候能批，本该花的钱不花成了利润，最后也不分给你，连加班费都不多给一分。何必呢。其次做好测试和选型，拨开迷雾看真相。跟我有次的演讲题目一样了。

有同感，做好了没人赞你，做不好准挨骂！还不如花钱买好的设备！

lihn

呵呵，同意楼上的说法

bigrong

我决定把我的大段论述加到我的blog里

colddawn

原帖由 bigrong 于 2006-12-12 13:15 发表
我决定把我的大段论述加到我的blog里

期待大作

codfei

我学校的网络就是这个样子的,而且比这个还要庞大,做法呢也是linux做nat,iproute2的高级策略路由.......网络带宽也是100M+100M+100M   结果学生抱怨不断,后来又改造成了城市热点,还是抱怨不断,网络状况没有根本好转.......
个人感觉大型的网络就要用大型的硬件设备,多花点钱少惹点麻烦,出了问题厂商负责,也可以把问题推给花大钱买来的机器.

bigrong

关于学生和P2P的问题，我非常非常感兴趣。
首先我对P2P非常非常的赞同，简直就是最好的创新！要是有大牛能按照这个思路写软件，改改我们现在很多的应用架构，我考！我要是厂商就常年出钱赞助一个P2P的大赛，让广大爱好者不断开发自己的软件产品。
但是P2P确实也讨厌，特别是有很多人，下了一半就不下了，或者下了就删了。这样的结果就是浪费了很多带宽。
不知道能不能大家优化一下，在本地搞一个p2p的cache，减少通往外部的流量和带宽。我估计流量也不发散，无非就是些电影、歌曲一类的。在这方面我比较孤陋寡闻。
再有就是类似NAC的方法装终端，下策略，在PC机上做策略限制并发链接数。这事儿要增加成本，估计难度还是比较大。更何况学生们一个个跟小鸡贼似的。但是我觉得还是值得一试，802.1x绑上NAC。
低端接入交换机的钱还是少省，至少可以做多些控制，限制不必要的广播和其他类型的应用，少让网关设备那么累。
要是能够去除NAT最好，不过估计很难，IPv6没影儿的事儿。而且有人就是觉得NAT好，安全。不过我觉得也是扯淡，现在的木马程序那么多，透过NAT搞肉机也没问题。不过，还有一点，就是运营商好像总把IP地址当资源卖，真是奇怪了，公有IP地址是全世界人民的资源，即使IPv4不能人手一个，但是我们也有百分之几的权利，凭啥他们拿着咱家的地，管咱收租子？我觉得IPv6还是正途。
不同的网段和VLAN都用NAT，一时解决问题，剩下的维护难度太大。但是要是有本事搞个Linux集群，做个负载均衡，靠几个退役PC来做NAT和P2P控制，倒是值得尝试。这个我不会搞只会吹。