探讨一个读文件内核IO cache的问题

redor

最近大数据做索引的时候发现的一个问题, 只要是读很频繁的, 系统内存不停的增长,
我在os x 和 linux测试都是这样, 这个不是内存泄露的问题, 我认为是内核对文件做cache的问题.
os x会影响系统性能, linux只要内存用光以后会明显的想能下降, 有哪位遇到过或者解决过这样的问题, 按理应该是可以设置内核cache的.

1. 
   
2. #include <stdio.h>
   
3. #include <unistd.h>
   
4. #include <stdlib.h>
   
5. #include <string.h>
   
6. #include <fcntl.h>
   
7. #include <errno.h>
   
8. #define BUF_SIZE 1024 * 1024 * 8
   
9. // gcc -o test test.c -D_FILE_OFFSET_BITS=64
   
10. int main(int argc, char **argv)
    
11. {
    
12.         int fd = 0, n = 0, i = 0;
    
13.         char *s = (char *)calloc(1, BUF_SIZE);
    
14.     if(argc < 2)
    
15.     {
    
16.         fprintf(stderr, "Usage:%s hispider_file\n", argv[0]);
    
17.         _exit(-1);
    
18.     }
    
19.     for(i = 1; i < argc; i++)
    
20.     {
    
21.         if((fd = open(argv[i], O_RDONLY)) > 0)
    
22.         {
    
23.             n = 0;
    
24.             while((read(fd, s, BUF_SIZE)) > 0)n++;
    
25.             fprintf(stdout, "times:%d\n", n);
    
26.             close(fd);
    
27.         }
    
28.         else
    
29.         {
    
30.             fprintf(stderr, "open file failed, %s\n", strerror(errno));
    
31.         }
    
32.     }
    
33.     if(s) free(s);
    
34.         return 0;
    
35. }
    
36. 
    

复制代码

scutan

原帖由 redor 于 2009-1-20 15:08 发表
最近大数据做索引的时候发现的一个问题, 只要是读很频繁的, 系统内存不停的增长,
我在os x 和 linux测试都是这样, 这个不是内存泄露的问题, 我认为是内核对文件做cache的问题.
os x会影响系统性能, linux只要 ...

是的，不管是在Linux还是Windows上面，都会对读写的文件在内核中进行cache。
对于Linux，可以使用free -m，查看此时Cache的文件大小，在最后面一栏。
如果想将文件cache清空，则运行
sync && echo 3 > /proc/sys/vm/drop_caches

redor

原帖由 scutan 于 2009-1-20 15:41 发表


是的，不管是在Linux还是Windows上面，都会对读写的文件在内核中进行cache。
对于Linux，可以使用free -m，查看此时Cache的文件大小，在最后面一栏。
如果想将文件cache清空，则运行
sync && echo 3 > / ...

你的方法管用, 呵呵


不过我已经用了办法解决这个占内存的问题了, open(file, |O_DIRECT) or fcntl(fd, F_NOCACHE, 1);

Sorehead

个人觉得没必要这么做，能使用cache不是更好吗。
内存不足的时候，肯定会减少cache大小的。还是那个理念：空闲的内存不用白不用。

redor

原帖由 Sorehead 于 2009-1-22 14:18 发表
个人觉得没必要这么做，能使用cache不是更好吗。
内存不足的时候，肯定会减少cache大小的。还是那个理念：空闲的内存不用白不用。

linux下你说的办法是可行的, OS X 下就不是这样了, 内存被cache占了速度越来越慢, 我刚刚测试了一下, linux还在做swap, 我14G内存也搞swap......
不知道BSD下的实现是否需要设置关闭cache?

beepbug

这个应该叫文件通道缓存，用来提高文件访问效率的。
你将其清空，仍占同样大小的空间。要等文件关闭时才回收这块空间。

Sorehead

操作系统应该提供设置cache最大值的功能吧

system888net

原帖由 redor 于 2009-1-22 22:50 发表



linux下你说的办法是可行的, OS X 下就不是这样了, 内存被cache占了速度越来越慢, 我刚刚测试了一下, linux还在做swap, 我14G内存也搞swap......
不知道BSD下的实现是否需要设置关闭cache?

实践出真知

system888net

原帖由 jamesr 于 2009-1-23 09:46 发表
有看到一个想关闭cache的。

不用cache只有两种情况：
1、cache不能用；
2、数据只流过一次，只需buffer就行了。

无论如何direct IO都是最慢的。

前提很重要,取决应用的具体需求情况. 而且有时候有个定性和定量的问题.