节点上万的网络，如何做流量控制？欢迎讨论

happyhunter

楼上的意见正和我不谋而合，其实关于1x客户端软件我正在编写中，目的就是要实现监控PC的connection和软件使用情况，比如补丁是否打齐，等等，不过这个东西估计需要一段时间才能完成。资料不好找呀，呵呵
我这里的交换机正是03年的产品，教育网采购的垃圾货，没有办法。
如果能够在网关上做到ip限速，我觉得是一件非常了不起的事情，能够实现的话具有很高的应用价值，光跟着人家已经做出来的东西玩，没有创意对吧？呵呵，这是我的初衷。

skylove

限制连接只能做到防止tcp连接数太多了的，对于udp的基本无解~~~而很多快速发包的病毒/程序是基于udp的。。。

我这里交换机也是教育网03年的垃圾货。

colddawn

对于高级流控限制，我还是认为该哪层设备解决的问题交给哪层设备解决，例如二层交换实现端口限速，三层交换或路由器实现基于IP的ACL和qos，四层的并发连接控制交给网关和NAT设备，应用层过滤交给应用层设备。不要试图在一个设备搞定所有的事情。

proxima888

其实无论遇到什么问题，多大的问题我们解决它的比较好的思路就是把大问题化成小的问题，小的问题再化成更小的问题，一个小问题一个小问题的解决，也许到最后我们的大问题就解决了。
     楼主的问题其实很明显，就是局域网内的计算机数量太多了居然上万，而楼主却想把所有的问题交给一个网关来处理，从解决问题的思路来看就不对。nat对系统资源的消耗是很大的,整个环境的瓶颈也就在这个地方。如果一台计算机做nat不行不如多几台服务器做nat，把负担分给它们。

skylove

能接入 802.1x 都是种幸福了。。。我这里使用的接入switch 些有的还是99-01年的老东西，连这个功能都不具备，管理起来。。。真tmd。。

真正的经验是： 高校里一个混得好的网络中心主任可以要到政策要到钱买设备要到决策权对最终用户（不管出病毒的机器是个人用户还是xx牛比部门的）进行封锁或者处罚；而不作为的网络中心主任就可以把真正管理网络运行的人员搞得要钱没钱要设备没设备甚至连发现最终用户机器中毒了后几句好话就又放行了。。。

摊上个好一点的领导，比什么决策都强多了。


ok，发完了牢骚，接着讨论方案。。。我还是前面的观点，能在接入交换机上完成的就尽量不要在汇聚/核心上来做，比如前面有人提到的qos，我是建议直接在最终交换机上做的——因为至少可以保证该机器自己中毒的时候，不会频繁发包地把接入交换机/汇聚交换机搞死当场；vlan尽量划分地小一些，对待某些vlan之间是可以设置为彼此不互相通的，事实上某些内部的交流并没有想像中那么频繁和正当地被使用，反倒是成了广播风暴的温床；接着汇聚交换机上，就直接把什么 135-139，445 这些port给限制掉，事实上对中国校园网而言，跨部门使用网络邻居而且使用地非常正常地情形实在并不多，很多时候反成了病毒的温床（弱口令问题导致，欢乐时光病毒等）；在核心交换机上主要就是把各个下面的vlan进行必要的route，然后进行适当地高级控制，也可以做做大略的qos。 在网关机，教育网的不用提了，是route方式吧？ 公众网络的走NAT的时候，把http，ftp和stmp，pop3等必须服务地包打个标记，然后把其他地包打个标记，保证第一类标记的包优先就行了。。。至于qos。。。之前有请教过，必须是针对每个ip做，即使是采用了哈希算法后，依然在效率上会有所折扣。

btw：其实上面的很多朋友都误会了lz为什么想在nat位置做流量控制 —— 因为校园网内部有很多的服务器和资源，如果是在内部的switch上做，那么自然是可以比较好的限制，但是也制约了对校园网内部服务器（ftp服务器，下载服务器，视频服务器等）的访问速度，所以在公众网络出口的位置做是可以做到对内不限制速度，而访问外部比较合理。。。这样当然是最为理想的状况——但是这样的状况一般会由于处理问题造成实际效果不如意。

bigrong

ls的讨论又回到我以前一个帖子，就是关键搞到钱，政治层面了。
这个帖子可以分开讨论了。
我把我的帖子另开一个

[ 本帖最后由 bigrong 于 2006-12-19 16:15 编辑 ]

popofox

楼主看一下HTB流量整形的资料，可为每个IP创建独立的管道队列。可以配合IPtables使用

twodog29

我们学校的网络问题也搞不定，最后包给电信了，现在造成工作难以展开，什么都要和电信联系

特别不爽的是，用的电信的线路，居然外网难以访问本校网站。我试过电信、网通等，都很难访问，铁通勉强。这不是自己打自己嘴巴吗

happyhunter

感谢bigrong兄的发言，很有启发和实用性。关于IDS联动的问题我这里已经实现，当然是厂家开发的，呵呵，和802.1X联动，IDS提交异常IP，通过snmp来关断端口（幸好全网交换机都支持snmp下发），这个思路我觉得是校园网管理的一个很好的方法，当然，我也希望有更好的网络管理的方法，不知道有谁可以讨论一下？

skylove：您的方案我很支持，可是很理想化，对于我这个网络来说，关于效率我强调一点，在同时在线超过7000时，通过一台机器的NAT(双CPU,4G内存），并加上流控TC整形，包括ipp2p过滤p2p流量，一台机器基础上运行超过一年并无任何问题。这个是经过实际效果测试的，没有疑问。我的问题不是现在要作什么网络设备的更新，而是在现在的已经运行良好的流控下能否做得更好的问题。

bili

我们这儿也是使用 LINUX 做NAT服务器的，原先的硬件防火墙是国产的，用了不长时间就频繁死机，主要原因是病毒造成的连接过多，CPU负载过高。整个网络同时接入的节点大概在1000－2000，使用 LINUX后一直没有出现死机的问题。整个网络内病毒泛滥时，会造成IP conntrack 连接数过多。修改下/proc/sys/net/ipv4/ip_conntrack_max基本可以解决问题。

    楼主所说的节点上万，估计不是同时接入的节点，否则一台机器肯定是带不动，光是ARP地址解析和ip Conntrack这两样就能把服务器拖死。楼主说想在单个IP上做流量限制，我认为在NAT服务器上这是很难实现的。本身大型网络都是三层交换的，节点通过网关访问NAT服务器，到NAT服务器这儿就全是网关的IP了，无法对节点IP进行控制。如果想实现流量控制，还是需要在底层的网关上做。

    对于病毒，P2P，这些东东，我也是非常头疼，希望能找到一个好的解决办法。