预留内存DMA失败，__get_free_pages用于DMA却成功

xiao_cai_cai

     最近开发零拷贝遇到一个问题：
        1.在grub.conf中添加mem=xx预留一块内存。
        2.用的是pcnet32网卡驱动程序，修改__alloc_skb函数中调用的函数kmalloc_node_track_caller，使skb->data指向预留的内存。
        3.调用pci_map_single把skb->data映射用于DMA。
        4.预留内存中没有数据，DMA没有成功。
     但是我把预留内存改为用__get_free_pages()申请的内存就能成功DMA数据包到申请的内存。
     请大牛们指点指点，小弟感激不尽！  

xiao_cai_cai

今天打印了下信息，预留内存是通过ioremap到内核空间，然后通过调用pci_map_single（）函数映射成为可DMA的地址。发现了一个现象：
假设预留内存的物理地址为X，ioremap得到的虚拟地址为Y，然后再调用__pa(X)得到的地址却是Z，为什么X!=Z呢？？？？
求指导！！！！！！！！！！！！！

janetliu9

你的内存大于896M(x86 32bit 内核线性地址大小)吧？ 预留的物理内存地址是高段的， ioremap这部分是通过页表映射的。__pa只能转换线性映射地址。
设备DMA是不是对地址范围有要求，__get_free_pages 用GFP_DMA flags 了吧

xiao_cai_cai

非常感谢！忘记__pa只能转换线性地址映射了。。。ioremap后得到的虚拟地址应该是映射到>=0xc0000000+896M地址空间的吧？所以和实际的物理内存不是线性映射，不知理解对否？
__get_free_pages 没有用GFP_DMA flags，今天直接把pci_map_single换成了预留的内存地址后DMA能成功，所以应该DMA没什么限制吧，只要得到了正确的物理地址。 回复 3# janetliu9


   

linuxfellow

回复 4# xiao_cai_cai
DMA的限制就是只能用物理地址。

   

honkiko

回复 2# xiao_cai_cai

ioremap是映射到VMALLOC_START到VMALLOC_END之间的虚拟地址
   

janetliu9

xiao_cai_cai 发表于 2012-06-11 17:56
非常感谢！忘记__pa只能转换线性地址映射了。。。ioremap后得到的虚拟地址应该是映射到>=0xc0000000+896M地 ...

                                                                                              对的！ 6楼有回答,VMALLOC_START到VMALLOC_END之间

hanhai118

呵呵，我们近期遇到了类似的问题。我们的物理内存2G。

所以问题关键是理解几个基本概念，并搞清楚自己想干什么。
可以使用PA，或者virt_to_bus的的物理内存范围，为什么。
ioremap实现了什么
什么是DMA。
不在DMA和NORMAL区域的物理内存如何使用
__get_free_pages的几个参数如何影响获取的物理页的ZONE

这些都搞明白后，自己就能知道自己错在哪里了。

所以“非常感谢！忘记__pa只能转换线性地址映射了。。。ioremap后得到的虚拟地址应该是映射到>=0xc0000000+896M地址空间的吧？所以和实际的物理内存不是线性映射，不知理解对否？
__get_free_pages 没有用GFP_DMA flags，今天直接把pci_map_single换成了预留的内存地址后DMA能成功，所以应该DMA没什么限制吧，只要得到了正确的物理地址。 回复 3# janetliu9 ”最有道理