关于PACKET_MMAP映射的问题！！！好神奇！！！！

HazeC

问题产生的来源:最近一直想着内核把数据传递给应用层的方式怎么能快点。ksocket、netlink尝试之后都放弃了，于是打起来mmap的主意。
然后就卡壳了，卡壳的原因是内核传递给应用层的数据大小不是固定的，而我了解到的mmap函数实现里面调用的remap_pfn_range需要的是一块连续的内存。
但是如果是连续内存的话，内存大小就不可控制了。于是想起了用链表存储每个buf，然后remap_pfn_range把链表映射上去。然而看到remap_pfn_range的参数就悲剧了。
查找开源实现，PACKET_MMAP与PF_RING都是采用的mmap方式提交的数据。
首先查看的是PF_RING，看代码

1. tot_mem = sizeof(FlowSlotInfo) + num_slots * the_slot_len;
   
2.   if(tot_mem % PAGE_SIZE)
   
3.     tot_mem += PAGE_SIZE - (tot_mem % PAGE_SIZE);
   
4. 
   
5.   pfr->ring_memory = rvmalloc(tot_mem);
   
6. 
   
7.   if(pfr->ring_memory != NULL) {
   
8. #if defined(RING_DEBUG)
   
9.     printk("[PF_RING] successfully allocated %lu bytes at 0x%08lx\n",
   
10.            (unsigned long)tot_mem, (unsigned long)pfr->ring_memory);
    
11. #endif
    
12.   } else {
    
13.     printk("[PF_RING] ERROR: not enough memory for ring\n");
    
14.     return(-1);
    
15.   }
    
16. 
    
17.   // memset(pfr->ring_memory, 0, tot_mem); // rvmalloc does the memset already
    
18. 
    
19.   pfr->slots_info = (FlowSlotInfo *) pfr->ring_memory;
    
20.   pfr->ring_slots = (char *)(pfr->ring_memory + sizeof(FlowSlotInfo));
    
21. 
    
22.   pfr->slots_info->version = RING_FLOWSLOT_VERSION;
    
23.   pfr->slots_info->slot_len = the_slot_len;
    
24.   pfr->slots_info->data_len = pfr->bucket_len;
    
25.   pfr->slots_info->tot_slots =
    
26.     (tot_mem - sizeof(FlowSlotInfo)) / the_slot_len;
    
27.   pfr->slots_info->tot_mem = tot_mem;
    
28.   pfr->slots_info->sample_rate = 1;

复制代码

PF_RING看样子也是把buf最后放到了一块固定内存里面实现了。
于是看PACKET_MMAP,看代码：

1. 
   
2.         start = vma->vm_start;
   
3.         for (rb = &po->rx_ring; rb <= &po->tx_ring; rb++) {
   
4.                 if (rb->pg_vec == NULL)
   
5.                         continue;
   
6. 
   
7.                 for (i = 0; i < rb->pg_vec_len; i++) {
   
8.                         struct page *page = virt_to_page(rb->pg_vec[i]);
   
9.                         int pg_num;
   
10. 
    
11.                         for (pg_num = 0; pg_num < rb->pg_vec_pages;
    
12.                                         pg_num++, page++) {
    
13.                                 err = vm_insert_page(vma, start, page);
    
14.                                 if (unlikely(err))
    
15.                                         goto out;
    
16.                                 start += PAGE_SIZE;
    
17.                         }
    
18.                 }
    
19.         }
    
20. 
    
21.         atomic_inc(&po->mapped);
    
22.         vma->vm_ops = &packet_mmap_ops;

复制代码

此处是PACKET_MMAP的mmap实现！！！vm_insert_page是把buf合并到了一个vma，但是最后的映射函数去哪了。。搜了下整个文件没有。。

为什么！！！

nswcfd

vm_insert_page里面已经包含set_pte的操作了。

HazeC

回复 2# nswcfd

是的、代码看到了把不同快set到同一个vma里面，但问题是没看到把vma映射到应用层去。奇怪的是这一点

nswcfd

1. #define DRV_NAME        "mmap"
   
2. #define DRV_VERSION        "0.1"
   
3. 
   
4. #include <linux/module.h>
   
5. #include <linux/kernel.h>
   
6. #include <linux/mm.h>
   
7. #include <linux/miscdevice.h>
   
8. 
   
9. static int mmap_chr_close(struct inode *inode, struct file *file)
   
10. {
    
11.         printk("chr close\n");
    
12.         return 0;
    
13. }
    
14. 
    
15. int nomap;
    
16. module_param(nomap, int, 0);
    
17. 
    
18. static struct page *page;
    
19. 
    
20. static void mmap_open(struct vm_area_struct *vma)
    
21. {
    
22.         printk("mmap_open: vma->start=%lx\n", vma->vm_start);
    
23. }
    
24. 
    
25. static void mmap_close(struct vm_area_struct *vma)
    
26. {
    
27.         printk("mmap_close: vma->start=%lx\n", vma->vm_start);
    
28. }
    
29. 
    
30. static struct vm_operations_struct mmap_ops = {
    
31.         .open = mmap_open,
    
32.         .close = mmap_close,
    
33. };
    
34. 
    
35. static int mmap_chr_mmap(struct file *file, struct vm_area_struct *vma)
    
36. {
    
37.         int err = -ENODEV;
    
38.         printk("vma->start=%lx, vma->end=%lx\n", vma->vm_start, vma->vm_end);
    
39.         if (nomap || !page)        
    
40.                 return -ENODEV;
    
41.         printk("page=%p, address=%p\n", page, page_address(page));
    
42.         *(int *)page_address(page) = current->pid;
    
43.         err = vm_insert_page(vma, vma->vm_start, page);
    
44.         if (err)
    
45.                 return err;
    
46.         vma->vm_ops = &mmap_ops;
    
47.         return 0;
    
48. }
    
49. 
    
50. static struct file_operations mmap_fops = {
    
51.         .owner        = THIS_MODULE,        
    
52.         .llseek = no_llseek,
    
53.         .release = mmap_chr_close,
    
54.         .mmap = mmap_chr_mmap,
    
55. };
    
56. 
    
57. #define TUN_MINOR        200
    
58. #define MMAP_MINOR        TUN_MINOR
    
59. 
    
60. static struct miscdevice mmap_miscdev = {
    
61.         .minor = MMAP_MINOR,
    
62.         .name = "mmap",
    
63.         .fops = &mmap_fops,
    
64. };
    
65. 
    
66. static int __init mmap_init(void)
    
67. {
    
68.         int ret = 0;
    
69.         page = alloc_page(GFP_KERNEL);
    
70.         printk("page=%p, addr=%p\n", page, page_address(page));
    
71.         ret = misc_register(&mmap_miscdev);
    
72.         if (ret)
    
73.                 printk(KERN_ERR "mmap: Can't register misc device %d\n", MMAP_MINOR);
    
74.         return ret;
    
75. }
    
76. 
    
77. static void mmap_cleanup(void)
    
78. {
    
79.         if (page)
    
80.                 __free_page(page);
    
81.         misc_deregister(&mmap_miscdev);  
    
82. }
    
83. 
    
84. module_init(mmap_init);
    
85. module_exit(mmap_cleanup);
    
86. MODULE_LICENSE("GPL");
    
87. MODULE_ALIAS_MISCDEV(MMAP_MINOR);

复制代码

1. #include <stdio.h>
   
2. #include <unistd.h>
   
3. #include <fcntl.h>
   
4. #include <sys/mman.h>
   
5. 
   
6. int main()
   
7. {
   
8.         int fd = open("mmap_dev", O_RDWR);
   
9.         printf("fd=%d\n", fd);
   
10.         if (fd < 0)
    
11.                 return 1;
    
12.         char *p = mmap(0, 10, PROT_READ|PROT_WRITE, MAP_PRIVATE, fd, 0);
    
13.         printf("mmap=%p\n", p);
    
14.         if (p != MAP_FAILED)
    
15.                 printf("map[0]=%d, pid=%d\n", *(int *)p, getpid());
    
16. }
    

复制代码

# ./mmap_test
fd=3
<4>vma->start=2ad8378f7000, vma->end=2ad8378f8000
<4>page=ffff810000b21b78, address=ffff810012d59000
mmap=0x2ad8378f7000
map[0]=4557, pid=4557
<4>mmap_close: vma->start=2ad8378f7000
<4>chr close

注意kernel执行fops->mmap的参数（vma->start）和用户态mmap返回的数值是一样的。
也就是说，在响应mmap syscall的时候，内核先分配vma（分配用户态线性地址），然后调用fops->mmap回调（关键步骤set_pte映射页表），最后给用户态返回vma->start。

HazeC

回复 4# nswcfd

万分感谢。刚看到您的回复，“在响应mmap syscall的时候，内核先分配vma（分配用户态线性地址），然后调用fops->mmap回调（关键步骤set_pte映射页表），最后给用户态返回vma->start。” 这句话解决了疑惑。
现有个问题是如果我把多个buf合并到一个vma的时候，af_packet.c中如下所示伪代码
buf1\buf2\buf3f
start = vma->start
foreach(i in 3)
page = virt_to_page(bufi)
vm_insert_page(vma ,start ,page)
start += buf_size;

这段话的意思是不是将多个buf对应的页插入到一个vma里面去，当用户层调用mmap的时候的时候，用户层获取到的内存是连续的，这个连续的空间就是vma的作用？
换句话说 vma这个实现了把内核多个非连续的内存空间合并成了一个连续的用户空间？

nswcfd

应该是这样理解吧。
可以看看当用户态的mmap超过一个page的时候，底层的这些callback的调用次数。

HazeC

回复 6# nswcfd

万分感谢 解答了疑惑