继续讨论这个mmap使用的问题

redor

下面这段代码读一个大文件 写到一个新文件里, 但是有问题就是内存不断消耗, 最后速度越来越慢, 寻找这个解决方案.

1. 
   
2. #include <stdio.h>
   
3. #include <unistd.h>
   
4. #include <stdlib.h>
   
5. #include <sys/mman.h>
   
6. #include <sys/stat.h>
   
7. #include <fcntl.h>
   
8. #include <errno.h>
   
9. #define CHUNK_SIZE 2097152
   
10. int main(int argc, char **argv)
    
11. {
    
12.     struct stat st = {0};
    
13.     void *data = NULL;
    
14.     off_t offset = 0;
    
15.     int fd = 0, outfd = 0, n = 0;
    
16.    
    
17.     if((fd = open("/var/www/xhttpd/html/Fedora-12-x86_64-DVD.iso", O_RDONLY)) > 0
    
18.             && fstat(fd, &st) == 0 && (outfd = open("/tmp/out", O_CREAT|O_RDWR, 0644)) > 0)
    
19.     {
    
20.             fprintf(stdout, "%s::%d offset:%lld\n", __FILE__, __LINE__, offset);
    
21.         while((data = mmap(NULL, CHUNK_SIZE, PROT_READ, MAP_SHARED, fd, offset))
    
22.                 && offset < st.st_size)
    
23.         {
    
24.             offset += CHUNK_SIZE;
    
25.             if(offset > st.st_size) n = offset - st.st_size;
    
26.             else n = CHUNK_SIZE;
    
27.             fprintf(stdout, "%s::%d offset:%lld\n", __FILE__, __LINE__, offset);
    
28.             if(write(outfd, data, n) < 0)
    
29.             {
    
30.                 fprintf(stderr, "write to file failed, %s\n", strerror(errno));
    
31.                 _exit(-1);
    
32.             }
    
33.             munmap(data, CHUNK_SIZE);
    
34.         }
    
35.         close(outfd);
    
36.         close(fd);
    
37.     }
    
38. }
    

复制代码

peidright

是不是write()
和munmap的问题。

建议测试下write()
              sleep(1);
              munmap();

我的两个怀疑：
1.write后，还没实际flush to disk,就调用munmap,是否有问题？
2.mmap是否一次太少了，导致碎片或者其他，一次map大点，多次写入
3.测试下不用mmap,而用read的速度如何。。

刚测试了一下，发现一次mmap更大的文件，性能能有很大提高
而不用mmap,只用read/write,性能更高。。。。。。。。