Xen虚拟化+万兆网卡环境，DomU网络性能问题

gaojl0728

回复 1# humjb_1983


我们以前测过 NAPI和none-NAPI(传统的只通过中断收包)的网卡驱动性能，

NAPI 到10G没问题。
none-NAPI只能到5G+, 再多了内核就会卡死。


你能确定网卡驱动已经是NAPI了吗？

crspo

humjb_1983 发表于 2014-02-17 17:22
呵呵，domu之间的性能是否有测？测试包长是多少？rsc是啥？谢谢！

没测，包长度是netperf默认长度，GSO后实际发包大小是64K，收包不一定，大部分也大于40K，rsc是mlx4默认设置

humjb_1983

gaojl0728 发表于 2014-02-17 17:54
回复 1# humjb_1983

napi肯定开了，这个是xen虚拟化环境，如果是物理机，达到限速是没有问题的，
瓶颈应该在于虚拟化pv驱动或其它地方，目前还不完全确认。

humjb_1983

crspo 发表于 2014-02-17 19:17
没测，包长度是netperf默认长度，GSO后实际发包大小是64K，收包不一定，大部分也大于40K，rsc是mlx4默认 ...

你的物理网卡的mtu设为多少？64K也能发出去？虚拟网卡的mtu多少？这里的GSO指的是虚拟网卡还是物理网卡的属性？

crspo

humjb_1983 发表于 2014-02-18 08:25
你的物理网卡的mtu设为多少？64K也能发出去？虚拟网卡的mtu多少？这里的GSO指的是虚拟网卡还是物理网卡的 ...

物理网卡1500，GSO是指虚拟机发出的包大小，由于mlx4支持TSO，所以也是最终传递给mlx4的包大小。虚拟网卡mtu1500.

humjb_1983

crspo 发表于 2014-02-18 09:07
物理网卡1500，GSO是指虚拟机发出的包大小，由于mlx4支持TSO，所以也是最终传递给mlx4的包大小。虚拟网 ...

昨天搭了个kvm+virtio+万兆网卡的环境，测试domu-》domu之间的性能只有800M，还不如xen，不知道是哪里没整对，
还请兄弟指教，看看有哪些关键点需要注意？有相关资料就更好了？呵呵

humjb_1983

crspo 发表于 2014-02-18 09:07
物理网卡1500，GSO是指虚拟机发出的包大小，由于mlx4支持TSO，所以也是最终传递给mlx4的包大小。虚拟网 ...

你的虚拟网卡mtu为1500，那么virtio前后端通信的时候不会将数据包分片么？最终到网卡的包还会有64K？

crspo

回复 77# humjb_1983


    当host支持GSO的时候猴，viritio-net会announce自己支持TSO/GSO，这样driver就可以直接传大包给virtio-net。而virito-net则直接将大包传递给host,什么都不做

humjb_1983

crspo 发表于 2014-02-18 10:44
回复 77# humjb_1983

是的，把虚拟网卡gso开启后，性能从800M提升到1.3G了(512的包)，64k包性能在2G左右，但是离目标还是差很远，不知还有哪里需要特别设置？
请问，你测试过512的包么？
说明，目前我们测的是windows domU之间的性能。难道Linux的表现差别会很大？
另外，我们目前测试两台dom0之间的性能都能难达到限速，小包只有3-4G，大包也在6-8G之间，经过绑核和其他参数调整后，大包能勉强达到9G，
如果dom0之间都无法达到限制，domU之间就不可能了吧，不知你的测试模型中，dom0侧是否做过优化？比如绑核之类的，你的domU的vcpu个数
是多少？

crspo

回复 79# humjb_1983

没有测试过512的包，只测试过Linux的Guest. 印象中Windows的Guest需要一些调优参数，具体忘记了。

Dom0之前不能到线速证明环境和配置有问题，需要先把Dom0达到线速才可以。

对于10gbe(ixgbe)网卡，不需要任何的配置就可以到线速。

对于40gbe(mlx4)，Guest发包要使用sendpage()+zerocopy vhost。pin一下vhost和vcpu thread即可。