Xen虚拟化+万兆网卡环境，DomU网络性能问题

crspo

humjb_1983 发表于 2013-11-22 17:49
物理网卡的GRO开了，netback的GSO不知如何确认？netback应该只是一个内核线程吧？呵呵

ethtool -k $vif.X ?

humjb_1983

crspo 发表于 2013-11-25 11:22
ethtool -k $vif.X ?

哦，这个是开了的~~

humjb_1983

hmsghnh 发表于 2013-11-25 10:58
你这个同样经过前端驱动那些吧。

dom0到另一个dom0，不经过前后端驱动，只有dumU和domU/0通信的时候需要经过~

humjb_1983

hmsghnh 发表于 2013-11-25 10:52
我是来围观的，楼主能不能不停的更新详细的测试步骤和进展哈
让大家都看一下

呵呵，可以的，但进展比较慢，只能后面慢慢搞了，估计周期比较长~

almeydifer

这个问题是很有趣，如果通过配置解决了问题，楼主一定要告知我们一声呀。

我的意见是：看看能不能通过类似oprofile等工具对测试流程进行一个收集与分析，看看瓶颈哪里了？

我记得早些年Xen的前后段驱动有瓶颈，主要是因为共享内存的频繁分配和回收造成到开销（动态），但是这些年Xen的社区一直在改进网络前后端的共享内存分配方式（静态），这个开销已经较小了（包括一些多队列的优化）。

而且我记得有篇论文，也是在万兆网卡下的性能调优，方法较为复杂，但是效果很好.
http://www.hpl.hp.com/techreports/2009/HPL-2009-25.html

最近几年，大家都去研究passthrough的网卡硬件中断优化了，前后端的进一步优化都几乎停滞了，不知到是不是优化空间已经小了。

humjb_1983

almeydifer 发表于 2013-11-25 12:35
这个问题是很有趣，如果通过配置解决了问题，楼主一定要告知我们一声呀。

我的意见是：看看能不能通过类 ...

almeydifer很专业哦~
这个问题通过配置肯定搞不定，各种配置我们都试过了，都是不行的。
你说的xen前后端共享内存优化确实有，应该是指静态授权页表吧，这个东东也打算试~~
你说的“多队列”这个应该目前还没有完全实现吧？查找了前后端多队列的相关补丁，目前一些前置补丁已合入，但主要功能还只是列在了xen计划实现的列表中，何时能有现成的补丁尚未可知（也许遥遥无期~），兄弟如果有相关经验，我们也可以探讨探讨哈~~
另外，你说的HP的文档，能提到这个，说明almeydifer之前应该是有过类似经验的~~，这个也正是我们后续优化方向，目前正在摸索中，HP的实现很复杂，改动也很大，除了这个论文外也没找到其他资料，如果兄弟有经验或建议，欢迎讨论。

crspo

humjb_1983 发表于 2013-11-25 11:45
哦，这个是开了的~~

是双方向都达不到线速，还是单向。

netfront最近支持GRO，你可以尝试一下。

btw，可以尝试一下KVM的virtio-net

crspo

回复 26# humjb_1983


    KVM/virtio-net已经支持多队列，欢迎测试。

humjb_1983

crspo 发表于 2013-11-25 16:24
是双方向都达不到线速，还是单向。

netfront最近支持GRO，你可以尝试一下。

双向都达不到，你说的netfront是指最新内核版本中带的前端驱动么？

humjb_1983

crspo 发表于 2013-11-25 16:25
回复 26# humjb_1983

感谢~，可惜我们目前没有切换kvm的计划，估计这个暂时无法测试了，如果哪位大侠测试过kvm中万兆网卡的性能，还望分享下~~