端口聚合的奇怪显现（只有冗余，没有负载均衡）

bbz_chinaunix

端口聚合的奇怪显现（只有冗余，没有负载均衡）

2台 CENTOS 7 (分别为server1 和 server2)使用 nmtui 各使用4块intel i350网卡组成team合并成一个IP地址，接入交换机，交换机设置端口聚合，2组team可以正常ping通。

2台centos使用各自内存创建了一个5G的ramdisk，并在ramdisk上做NFS复制文件（每次都复制4G左右的大文件），发现速度几乎无法超过100MByte/s  。

用iptraf-ng观测发现一个奇怪的现象如下:
如果 copy server1 到 server2 ，则server1上4块网卡组成的team分担了所有流量(观测到每块网卡大概200Mbit左右)，而server2上所有的流量几乎都集中在一块网卡上，在复制过程中试过拔掉server2上负担几乎所有流量网卡的网线，其余3块网卡中的一块网卡会自动承担起几乎所有流量。
如果 copy server2 到 server1 ，则情况相反。就是说“读”的那个网卡team会负载均衡，而“写”那个网卡team只会冗余（流量不会超过1000Mbit/s）。

bbz_chinaunix

up  up up up

ssffzz1

2台机器的捆绑模式都一样吗？ 交换机侧配置也一样吗？

bbz_chinaunix

全都一样，还特意把两台机器都格式化了再装，保证配置一致。
交换机是h3c5100 就做了一个 link aggregation

ssffzz1

做了一个聚合，你2台服务器不是要做2个吗？

bbz_chinaunix

2台服务器，每台4块网卡做一组聚合。
交换机 做了2组聚合，每组4个口针对4块网卡。

shijiang1130

可以贴 nfsstat -r 参考一下不？

shijiang1130

还有你在linux侧用的是哪个mode呢（4 ？）

bbz_chinaunix

奇怪了，nmtui 里面的 team 竟然是不需要交换机支持的。
我无意间把交换机的所有配置都删除了，竟然奇迹般的都正常了。
用 targetcli 做了一个内存的 lun , 然后

# time dd if=/dev/zero of=/mnt/m2/test bs=1MB count=4000
记录了4000+0 的读入
记录了4000+0 的写出
4000000000字节(4.0 GB)已复制，18.8878 秒，212 MB/秒

real    0m18.900s
user    0m0.003s
sys     0m1.919s

用iptraf-ng  测试了几次，速度稳定在150MB出头（虽然是4块网卡），而且两边（2台centos）速度基本一致，且分流了（每块网卡在35MB到40MB）。

bbz_chinaunix

再看了一下，ip link list
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
2: enp1s0f0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master team-1 state UP mode DEFAULT qlen 1000
    link/ether a0:36:9f:03:09:c9 brd ff:ff:ff:ff:ff:ff
3: enp1s0f1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master team-1 state UP mode DEFAULT qlen 1000
    link/ether a0:36:9f:03:09:c9 brd ff:ff:ff:ff:ff:ff
4: eno1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP mode DEFAULT qlen 1000
    link/ether 44:37:e6:4c:5a:b6 brd ff:ff:ff:ff:ff:ff
5: enp1s0f2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master team-1 state UP mode DEFAULT qlen 1000
    link/ether a0:36:9f:03:09:c9 brd ff:ff:ff:ff:ff:ff
6: enp1s0f3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq master team-1 state UP mode DEFAULT qlen 1000
    link/ether a0:36:9f:03:09:c9 brd ff:ff:ff:ff:ff:ff
7: team-1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP mode DEFAULT
    link/ether a0:36:9f:03:09:c9 brd ff:ff:ff:ff:ff:ff

发现 聚合的4块网卡 以及那个 team， 都是一个 mac 地址。