内存映射内核和用户读写数据不同步

枫露清愁

我使用mmap将内核空间内存映射到用户空间，然后由用户层的write函数让内核向这块内存写数据，写完之后用户层立即将从这块内存获得的数据与写入的比较。
内核源码如下：

1. #define MMAP_PAGE_SIZE 4096
   
2. static unsigned char *buffer;
   
3. 
   
4. ssize_t mmap_write(struct file *file, const char __user *buf, size_t len, loff_t *ofs)
   
5. {
   
6.         copy_from_user(buffer, buf, len);
   
7.        
   
8.         printk("data1 is=%x\n",buffer[0]);
   
9.         printk("data2 is=%x\n",buffer[1]);
   
10.         printk("data3 is=%x\n",buffer[2]);
    
11.         printk("data4 is=%x\n",buffer[3]);
    
12.         printk("data5 is=%x\n",buffer[4]);
    
13.         printk("data6 is=%x\n",buffer[5]);
    
14.         printk("data7 is=%x\n",buffer[6]);
    
15.         printk("data8 is=%x\n",buffer[7]);
    
16.         printk("data9 is=%x\n",buffer[8]);
    
17.         printk("dataA is=%x\n",buffer[9]);
    
18.         printk("dataB is=%x\n",buffer[10]);
    
19.         printk("dataC is=%x\n",buffer[11]);
    
20.         printk("dataD is=%x\n",buffer[12]);
    
21.         printk("dataE is=%x\n",buffer[13]);
    
22.         printk("dataF is=%x\n",buffer[14]);
    
23.         printk("\n");
    
24. 
    
25.         return len;
    
26. }
    
27. 
    
28. static int mmap_map(struct file *filp, struct vm_area_struct *vma)
    
29. {     
    
30.         unsigned long page;
    
31.         unsigned long start = (unsigned long)vma->vm_start;
    
32.         unsigned long size = (unsigned long)(vma->vm_end - vma->vm_start);
    
33. 
    
34.         page = virt_to_phys(buffer);
    
35.     vma->vm_flags |= VM_LOCKED | VM_SHARED | VM_IO | VM_RESERVED;;
    
36.         vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot);
    
37. 
    
38.         if(remap_pfn_range(vma,start,page>>PAGE_SHIFT,size,vma->vm_page_prot))
    
39.                 return -1;
    
40.        
    
41.         return 0;
    
42. }
    

复制代码

用户源码如下：

1. #include <unistd.h>
   
2. #include <stdio.h>
   
3. #include <stdlib.h>
   
4. #include <string.h>
   
5. #include <fcntl.h>
   
6. #include <linux/fb.h>
   
7. #include <sys/mman.h>
   
8. #include <sys/ioctl.h>
   
9. #include <sys/mman.h>
   
10. 
    
11. #define PAGE_SIZE 4096
    
12. 
    
13. unsigned char buf1[] = {0x1, 0x2, 0x3, 0x4, 0x5, 0x6, 0x7,
    
14.                                         0x8, 0x9, 0xA, 0xB, 0xC, 0xD, 0xE, 0xF};
    
15. 
    
16. unsigned char buf2[] = {0xF, 0xE, 0xD, 0xC, 0xB, 0xA, 0x9,
    
17.                                         0x8, 0x7, 0x6, 0x5, 0x4, 0x3, 0x2, 0x1};
    
18. 
    
19. int main(int argc , char *argv[])
    
20. {
    
21.         int fd;
    
22.         int i;
    
23.         unsigned char *p_map;
    
24. 
    
25.         fd = open("/dev/mmap-dev",O_RDWR);
    
26.         if(fd < 0)
    
27.         {
    
28.                 printf("open failn");
    
29.                 exit(1);
    
30.         }
    
31. 
    
32.         p_map = (unsigned char *)mmap(0, PAGE_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_LOCKED,fd, 0);
    
33.         if(p_map < 0)
    
34.         {
    
35.                 printf("mmap failn");
    
36.                 goto here;
    
37.         }
    
38. 
    
39.         while(1)
    
40.         {
    
41.                 for(i=0; i<100; i++)
    
42.                 {
    
43.                         write(fd, buf1,15);
    
44.                         msync(p_map, PAGE_SIZE, MS_SYNC);
    
45.                         //sleep(1);
    
46.                         for(i=0; i<15; i++)
    
47.                                 if(buf1[i] != p_map[i]){
    
48.                                         printf("data %x is=%x\n", i+1, p_map[i]);
    
49.                                         printf("mmap error buff1 !!!!!! \n");
    
50.                                 }
    
51. 
    
52.                         write(fd, buf2,15);
    
53.                         msync(p_map, PAGE_SIZE, MS_SYNC);
    
54.                         //sleep(1);
    
55.                         for(i=0; i<15; i++)
    
56.                                 if(buf2[i] != p_map[i]){
    
57.                                         printf("data %x is=%x\n", i+1, p_map[i]);
    
58.                                         printf("mmap error buff2 !!!!!! \n");
    
59. 
    
60.                                 }
    
61.                 }
    
62. 
    
63.                 sleep(1);
    
64.         }
    
65. 
    
66.         here:
    
67.                 munmap(p1_map, PAGE_SIZE);
    
68.                
    
69.         return 0;
    
70. }
    

复制代码

如果我把mmap_write函数里的printk都注销，出错的概率会非常低，可能几十小时才出一次，但加上printk会立即出现上层读到的数据与写入的不一致，再接着读取，大部分时候就是正确的了。如果在把上层程序的sleep加上，则完全不会出错。从现象来看，好像是用户层读到的数据滞后了内核一点时间，不知道具体是内核写入产生的滞后还是用户读取产生的滞后，或者哪里设置不对，请大神们帮忙！我用的ARM平台

arm-linux-gcc

多半是cache alias的问题

是arm9吗？vivt的cache就是蛋疼

枫露清愁

回复 2# arm-linux-gcc
是arm9，映射时已经设置了nocache了啊，怎么还会有这类问题，可以详细一点吗

   

arm-linux-gcc

你只是把映射到app的虚拟地址设置成了uncache，但是你的write方法是直接写的buffer代表的虚拟地址，这个虚拟地址有设置为uncache吗？

枫露清愁

回复 4# arm-linux-gcc
我之前也才猜想读写只设置了一个为nocache，但不确定是哪个，通过这句设置的“vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot);”，如果把这个设置去掉，更容易出错，请问怎么把读写都设置为nocache？

   

wth0722

回复 5# 枫露清愁


    vma->vm_page_prot = pgprot_noncached(vma->vm_page_prot); 指的就是把這塊vma弄成non-cache

如果拿掉這個更容易出錯救代表你需要在某些地方作flush cache的動作

如果要知道是不是真的是cache問題，建議直接從kernel config那邊把L1,2的cache關掉即可

arm-linux-gcc

回复 5# 枫露清愁


    pgprot_noncached保留

在copy_from_user后面做clean cache

你这个buffer是调用哪个API分配的？

枫露清愁

回复 7# arm-linux-gcc
那个buffer是内核调用malloc分配的，clean cache是指调用那个函数吗？cleancache_flush_page？cleancache_put_page？

   

arm-linux-gcc

回复 8# 枫露清愁


方法1：   
是kmalloc吧，建议换成__get_free_pages
然后在copy_from_user后面调用dma_map_single和dma_unmap_single（方向使用DMA_TO_DEVICE）





方法2：
如果你的buffer size不大，那么可以直接调用dma_alloc_coherent来分配内存，这种方法就无需做dma_map/unmap_xxx了，
这样改动也是最小的，但是性能就不及方法1

枫露清愁

回复 9# arm-linux-gcc
是kmalloc，为什么调用这两个函数？我想能不能调用某个函数直接把cache刷到内存里面