双网卡绑定技术以及环路导致广播风暴的问题

camwei

情况介绍：
某局域网有多台IBM服务器，每台服务器各有2块相同的网卡，通过IBM的BACS实现负载均衡绑定，对外提供一个IP地址（配置在虚拟网卡上）。
每台服务器的2块物理网卡分别连接在2台3026交换机上，该3026通过交叉线级联。
现象：当级联线连接时，发现两台交换机指示灯狂闪，CPU占用一会儿就高达95％，接着各服务器告警，网络断连，并且时有交换机down掉现象。当拔掉级联线时，一切故障消失。

   由于该网络由于其它因素不能划分VLAN，并且是2层交换机，2台交换机需要级联在一起。请教：
1，该问题是否由于环路问题而导致的广播风暴现象？是否采用BACS都有该现象发生？
2，BACS虚拟网卡工作时在同一时刻是通过一块物理网卡来工作的还是2块网卡都有流量？
3，请教怎样解决？需要开启交换机STP功能吗？

谢谢大家！！！

charlesc

估计不是服务器和交换机的问题，考虑交换机之间的级联时，是否采用的线缆是否正确。

marsaber

这2块物理网卡你接到一台交换机上也可以啊!

ssffzz1

双网卡绑定后网卡间不会相互转发数据包，因此不会导致广播风暴。此问题和网卡绑定无关。
启用STP协议当然能够阻止环路。但是无法阻止非环路导致的网络问题。

wch18

两个网卡共用一个虚拟IP，应该也公用同一个MAC吧，否则怎么响应ARP报文？ 如果共用同一个mac，而且两个交换机级联，只能主备工作吧？否则MAC表还不乒乒乓乓的不停乱跳？

建议楼主抓包看一下怎么回事，同时查一下交换机MAC表是否稳定，或者先拔掉一个网卡的线看看是否还有故障....

coolgg

这个问题今天凌晨我遇到了，和楼主说的一模一样，不同的是，不是广播风暴，而是HSRP产生的组播报文。
我们分析网卡绑定的驱动程序的确存在缺陷。
我们的组网结构是
router1-----router2
|                    |
|                    |
SW1----------SW2
|                    |
|                    |
Server双网卡绑定
router1和router2通过下面的两台交换机跑HSRP
SW1和SW2之间跑生成树协议
由于SW1和SW2为二层交换机，因此将组播当做广播报文处理。
服务器为IBM服务器，网卡为broadcom千兆双网卡，用的网卡自带的windows驱动
故障时交换机堵死，组播流量占99%
拔掉服务器的1条网线，故障恢复

个人认为服务器的双网卡绑定功能应该上联同一台交换机，最好和交换机之间运行LACP。

ssffzz1

由于SW1和SW2为二层交换机，因此将组播当做广播报文处理。

1、此交换机是否可下发ACL 阻塞其余端口的组播。
2、是否可以配置IGMP snooping 或者是组播组，来限制组播的范围。

coolgg

从网络的可维护角度和健壮性角度出发，最好不要在接入层交换机上做与业务过于相关的策略。如果接入交换机出现问题，备件替换过程都会变得比较复杂有时甚至无法实施。
因此拜托那些如此设计系统的厂家（HW等。。。）在设备上线时如果发现了这个问题，请千万不要随便依靠工程人员随意修改网络设计来解决问题，而是从最初的设计开始讨论，从总体上修改设计然后再进行实施。
我认为双网卡绑定单IP接双交换机本身就是不合理的结构。

conqueryou

原帖由 coolgg 于 2008-12-17 10:28 发表
从网络的可维护角度和健壮性角度出发，最好不要在接入层交换机上做与业务过于相关的策略。如果接入交换机出现问题，备件替换过程都会变得比较复杂有时甚至无法实施。
因此拜托那些如此设计系统的厂家（HW等。。 ...

  
          IBM的BACS我没有用过，但是可以类比Linux的bonding机制分析一二，bonding同时提供了“主备”和“轮询（可以理解成一种负载分担模式）”等几种网卡绑定方式，平时我们都只使用“主备”方式来绑定网卡，负载均衡的方式从原理上来讲可能会导致交换机端MAC地址不稳定，这种振动可能会导致两台接入交换机上发生广播风暴，所以这种绑定方式不推荐使用。
       当然并不是说链路负载绑定的方式不能用，但最好在设备/主机与交换机间同时使能相同协议（比如LACP，PAGP等）并通过此协议来进行交互。即使如此，跨交换机间的这种链路负载均衡在很多厂商交换机上也是不支持的。

conqueryou

原帖由 coolgg 于 2008-12-16 11:14 发表
这个问题今天凌晨我遇到了，和楼主说的一模一样，不同的是，不是广播风暴，而是HSRP产生的组播报文。
我们分析网卡绑定的驱动程序的确存在缺陷。
我们的组网结构是
router1-----router2
|                  ...

      有些夸张吧，是不是可以考虑限制一下HSRP组播报文存活探测的频率呢？？