swiotlb的作用请教

humjb_1983

请教：swiotlb的具体作用和原理。
目前发现我们的万兆网卡环境，Dom0中，当开启swiotlb=force选项后，网卡会出现丢包，关闭后正常。
请大牛们指教。

asuka2001

回复 1# humjb_1983


dma_addr_t swiotlb_map_page(struct device *dev, struct page *page,
                            unsigned long offset, size_t size,
                            enum dma_data_direction dir,
                            struct dma_attrs *attrs)
{

        /*
         * If the address happens to be in the device's DMA window,
         * we can safely return the device addr and not worry about bounce
         * buffering it.
         */
        if (dma_capable(dev, dev_addr, size) && !swiotlb_force)
                return dev_addr;

        /* Oh well, have to allocate and map a bounce buffer. */
        map = map_single(dev, phys, size, dir);
}

没仔细去研究dma_ops的初始化了，不过这个地方跟swiotlb=force有点关系，不知道你是不是使用了streaming dma mapping!

asuka2001

回复 1# humjb_1983

http://lwn.net/Articles/91870/

The Itanium architecture took a different approach, known as the "software I/O translation buffer" or "swiotlb." The swiotlb code simply allocates a large chunk of low memory early in the bootstrap process; this memory is then handed out in response to DMA allocation requests. In many cases, use of swiotlb memory involves the creation of "bounce buffers," where data is copied between the driver's buffer and the device-accessible swiotlb space. Memory used for the swiotlb is removed from the normal Linux memory management mechanism and is, thus, inaccessible for any use other than DMA buffers. For these reasons, the swiotlb is seen as, at best, inelegant.


lwn上也有，估计是bounce buffer带来的性能损失。。。

humjb_1983

asuka2001 发表于 2013-12-26 10:32
回复 1# humjb_1983

感谢，就是流式映射，之前也大致看了下这段代码，没看明白为啥会丢过，还没仔细研究~~

humjb_1983

asuka2001 发表于 2013-12-26 10:34
回复 1# humjb_1983

http://lwn.net/Articles/91870/

原来跟bounce buffer有关，我再查查资料，感谢感谢！

asuka2001

回复 4# humjb_1983

你用streaming dma mapping，开启了swiotlb_force，结果map开始的时候所有的dma buffer都要重新复制到bounce buffer，然后dma完成了再复制回来，自然效率大大降低，估计网卡的dma ring满了，就丢包了！

humjb_1983

asuka2001 发表于 2013-12-26 11:44
回复 4# humjb_1983

你用streaming dma mapping，开启了swiotlb_force，结果map开始的时候所有的dma bu ...

问题现象很奇怪，就是简单的ping包，第一个包就会丢，然后就是间断性丢包(丢包率很高)，按理这样的ping包应该不至于导致ring buffer满才对~
不知是否有好的确认方法？

asuka2001

回复 7# humjb_1983

ping包第一个包掉包好像是其他原因，记得版主曾经解答过。。。

另外虽然你只是使用ping，不过你的其他虚拟机中没有大量的网络通信么？

humjb_1983

asuka2001 发表于 2013-12-26 12:28
回复 7# humjb_1983

ping包第一个包掉包好像是其他原因，记得版主曾经解答过。。。

确认确实没有大的网络流量~，第一个包丢包的问题不知哪位版主能帮忙解答下？这个东东看似不太好打点分析，从目前的打点看，应该是在硬件做dma的时候，包就丢了，驱动层抓不到丢的包。
感谢asuka2001兄的支持！

asuka2001

回复 9# humjb_1983

http://blog.csdn.net/wangxujun163163/article/details/8135130

第一个PING包，网卡需要学习对端的MAC地址用以封装数据包，这样会超过PING包的时间限制，导致第1个PING包无回复，显示为丢包。在MAC地址学习完成以后，后面的数据包就可以正常发送，PING回复正常。
第一次PING通以后，以后再PING时不会再有丢包情况。
如果此时将计算机网卡的ARP清除，再次PING时，仍然会第一个包丢包。
第一包的时候，交换机或路由器还没生产mac地址表，所以第一个包会通过ARP广播出去寻找mac地址，如果延时过大，通常就会产生掉包。


你们是使用xen做pci passthrough？对比下开启swiotbl=force前后的dma_ops呢。

arch/x86/kernel/pci-swiotlb.c: static struct dma_map_ops swiotlb_dma_ops

或者是

arch/x86/xen/pci-swiotlb-xen.c: static struct dma_map_ops xen_swiotlb_dma_ops

看你们配置的是 CONFIG_SWIOTLB_XEN还是 CONFIG_SWIOTLB。

虽然没有仔细去看代码，但是估计变动的比较大的也就是强制使用bounce buffer。。。网络流量不大却掉包很奇怪！你确认是因为swiotlb=force造成的？不是网络环境或者是ping的对端的问题吧？