多网卡识别顺序的问题【解决方法见1楼】

waleliu

请教god版主：
我的主机有两个自带网口，和一块PCIE的intelpro1000网卡。用网口来做bonding，一开始也出现__tmp的设备名，后来按照提示修改udev后，ifconfig信息终于正常了。但是netstat -rn缺省路由却发现iface是eth1而不是boding，
# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
222.88.30.0     0.0.0.0         255.255.255.128 U         0 0          0 bond0
222.88.30.0     0.0.0.0         255.255.255.128 U         0 0          0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U         0 0          0 bond0
0.0.0.0         222.88.30.1     0.0.0.0         UG        0 0          0 eth1
从而造成拔开网线做切换测试的时候只能eth1能通过网关连到外网，另一个网卡生效的时候只能连通内网IP，不能连到外网。请高人们指点迷津。

waleliu

请教god版主：
我的主机有两个自带网口，和一块PCIE的intelpro1000网卡。用网口来做主备形式的bonding，一开始也出现__tmp的设备名，后来按照提示修改udev后，ifconfig信息终于正常了。但是netstat -rn缺省路由却发现iface是eth1而不是boding，这个项目总共5台设备，其中一台的缺省路由就能加载到bond0上，断开active网线的切换后还能ping通外网。
# netstat -rn
Kernel IP routing table
Destination     Gateway         Genmask         Flags   MSS Window  irtt Iface
222.88.30.0     0.0.0.0         255.255.255.128 U         0 0          0 bond0
222.88.30.0     0.0.0.0         255.255.255.128 U         0 0          0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U         0 0          0 bond0
0.0.0.0         222.88.30.1     0.0.0.0         UG        0 0          0 eth1

其它4台主机情况如上，并且做断开网线切换测试的时候只能在eth1通过网关连到外网，另一个网卡生效的时候只能连通内网IP，不能连到外网。请高人们指点迷津。

waleliu

再附上我的配置和硬件信息
# more /etc/modprobe.conf
alias eth0 e1000e
alias eth1 bnx2
alias eth2 bnx2
alias scsi_hostadapter cciss
alias scsi_hostadapter1 ata_piix
alias bond0 bonding
options bond0 miimon=100 mode=1

# more /etc/sysconfig/network-scripts/ifcfg-b*
# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)
DEVICE=bond0
BOOTPROTO=none
ONBOOT=yes
NETMASK=255.255.255.128
IPADDR=222.88.30.15
USERCTL=no
GATEWAY=222.88.30.1
TYPE=Ethernet

more /etc/sysconfig/network-scripts/ifcfg-e*
::::::::::::::
/etc/sysconfig/network-scripts/ifcfg-eth0
::::::::::::::
# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
#HWADDR=00:22:64:2E:02:0A
USERCTL=yes
MASTER=bond0
SLAVE=yes
TYPE=Ethernet
::::::::::::::
/etc/sysconfig/network-scripts/ifcfg-eth2
::::::::::::::
# Intel Corporation 82572EI Gigabit Ethernet Controller (Copper)
DEVICE=eth2
ONBOOT=yes
BOOTPROTO=none
#HWADDR=00:22:64:2E:02:0A
USERCTL=yes
MASTER=bond0
SLAVE=yes
TYPE=Ethernet


06:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
08:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708 Gigabit Ethernet (rev 12)
25:00.0 Ethernet controller: Intel Corporation 82572EI Gigabit Ethernet Controller (Copper) (rev 06)

# dmesg |grep eth
eth0: (PCI Express:2.5GB/s:Width x1) 00:18:71:ec:db:55
eth0: Intel(R) PRO/1000 Network Connection
eth0: MAC: 1, PHY: 4, PBA No: d70413-003
eth1: Broadcom NetXtreme II BCM5708 1000Base-T (B2) PCI-X 64-bit 133MHz found at mem f8000000, IRQ 169, node addr 0022642e0208
eth2: Broadcom NetXtreme II BCM5708 1000Base-T (B2) PCI-X 64-bit 133MHz found at mem fa000000, IRQ 177, node addr 0022642e020a
bonding: bond0: Adding slave eth0.
bonding: bond0: enslaving eth0 as a backup interface with a down link.
bonding: bond0: Adding slave eth2.
bnx2: eth2: using MSI
bonding: bond0: enslaving eth2 as a backup interface with a down link.
eth0: Link is Up 1000 Mbps Full Duplex, Flow Control: None
bonding: bond0: link status definitely up for interface eth0.
bonding: bond0: making interface eth0 the new active one.
bnx2: eth2 NIC Copper Link is Up, 1000 Mbps full duplex
bonding: bond0: link status definitely up for interface eth2.
bnx2: eth1: using MSI
ADDRCONF(NETDEV_UP): eth1: link is not ready
eth0: Link is Down
bonding: bond0: link status definitely down for interface eth0, disabling it
bonding: bond0: making interface eth2 the new active one.
eth0: Link is Up 1000 Mbps Full Duplex, Flow Control: None
bonding: bond0: link status definitely up for interface eth0.
bnx2: eth2 NIC Copper Link is Down
bonding: bond0: link status definitely down for interface eth2, disabling it
bonding: bond0: making interface eth0 the new active one.


# cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.2.4 (January 28, 200

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth0
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

Slave Interface: eth0
MII Status: up
Link Failure Count: 1
Permanent HW addr: 00:18:71:ec:db:55

Slave Interface: eth2
MII Status: down
Link Failure Count: 1
Permanent HW addr: 00:22:64:2e:02:0a

# ifconfig
bond0     Link encap:Ethernet  HWaddr 00:18:71:ECB:55  
          inet addr:222.88.30.15  Bcast:222.88.30.127  Mask:255.255.255.128
          inet6 addr: fe80::218:71ff:feec:db55/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:4275 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1217 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:408001 (398.4 KiB)  TX bytes:129185 (126.1 KiB)

eth0      Link encap:Ethernet  HWaddr 00:18:71:ECB:55  
          inet addr:222.88.30.15  Bcast:222.88.30.127  Mask:255.255.255.128
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:4025 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1159 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:385505 (376.4 KiB)  TX bytes:121566 (118.7 KiB)
          Memory:fdfe0000-fe000000

eth1      Link encap:Ethernet  HWaddr 00:22:64:2E:02:08  
          UP BROADCAST MULTICAST  MTU:1500  Metric:1
          RX packets:0 errors:0 dropped:0 overruns:0 frame:0
          TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)
          Interrupt:169 Memory:f8000000-f8012100

eth2      Link encap:Ethernet  HWaddr 00:18:71:ECB:55  
          UP BROADCAST SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:250 errors:0 dropped:0 overruns:0 frame:0
          TX packets:58 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:22496 (21.9 KiB)  TX bytes:7619 (7.4 KiB)
          Interrupt:177 Memory:fa000000-fa012100

lo        Link encap:Local Loopback  
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:16436  Metric:1
          RX packets:1357 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1357 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:0
          RX bytes:2225488 (2.1 MiB)  TX bytes:2225488 (2.1 MiB)

# ethtool -i eth*
Cannot get driver information: No such device
[root@WAP etc]# ethtool -i eth0
driver: e1000e
version: 0.3.3.3-k4
firmware-version: 5.11-10
bus-info: 0000:25:00.0
[root@WAP etc]# ethtool -i eth1
driver: bnx2
version: 1.7.9-1
firmware-version: 1.9.6
bus-info: 0000:06:00.0
[root@WAP etc]# ethtool -i eth2
driver: bnx2
version: 1.7.9-1
firmware-version: 1.9.6
bus-info: 0000:08:00.0

Godbach

LS 给的配置是想说明什么呢

waleliu

回复 44# Godbach


    我想问的就是，我做了bonding后，用netstat -rn看缺省网关的iface是一个物理网口而不是bond0，这造成我做断网测试的时候，只有一个网口能联通外网，另一个网口active的时候只能连到内网不能通过网关连到外网。
   我已经反复修改modprobe.conf和Ifc-ethx的配置多次，思路已经混乱了。希望各位高手能够指点迷津。

Godbach

  我想问的就是，我做了bonding后，用netstat -rn看缺省网关的iface是一个物理网口而不是bond0，这造成我做断网测试的时候，只有一个网口能联通外网，另一个网口active的时候只能连到内网不能通过网关连到外网。

这个要搜索一下， bonding 我没有深入研究过。

wzhuzhu

确定网卡顺序其实可以利用文件：
/etc/udev/rules.d/70-persistent-net.rules
利用udev来确定网卡顺序的。

waleliu

回复 47# wzhuzhu


    项目有5台一样配置的主机，都安装的是AS 5.3。目前只有一台主机完全正常。有一台主机我参考god版的写法在60-net.rules文件添加了bus和eth的对应关系，
但是缺省路由还是不正确，感觉问题不是出在设备顺序上了。
   路由的加载那位继续指点一下。

Godbach

回复 48# waleliu

cat /proc/net/dev 看一下。
另外，modprobe.confg 也查一下

waleliu

回复 49# Godbach

因为我采用的是failover的bond，如果只是在内网使用的话已经到达bond的效果（断开任意一根网线，网络不会断）。但问题就出在机器要通过网关访问外网的时候只能在某一个口才行。
我可以在登录到系统后手工执行route add添加网关后就能连到外网了。于是我在rc.local里添加了route add default gw x.x.x.x也没有效果。总不能每次重启都去手工添加一下吧，太郁闷了。
dev文件每行后面还有很多为0的信息感觉没有就没贴出来。

     cat /proc/net/dev
Inter-|   Receive|  Transmit
face |bytes    packets
    lo: 2428752    1585
  eth1:       0       0
  eth0:  119975    1255
  eth2:  101603    1074
  sit0:       0       0
bond0:  221578    2329


more /etc/modprobe.conf
alias eth0 bnx2
alias eth1 bnx2
alias eth2 e1000e
alias scsi_hostadapter cciss
alias scsi_hostadapter1 ata_piix
alias bond0 bonding
options bond0 miimon=100 mode=1