论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-11-22 11:08 |只看该作者 |倒序浏览

我们的程序需要读写大量的数据,但是在发现这样一个问题,但我们读写某个文件后,系统就把此部分操作进行了缓存

导致现在出现文件缓存不断的增大,使用free命令后发现,总共4G的内存,文件缓存就占了3.9G.现在程序在系统上运行的效率很差,资源不足.

我们分析的情况可能是2个问题:
1.linux系统的文件缓存机制是不可释放的(除非把那个文件给删除了,那么文件缓存就能释放),所以导致系统内

存越来越少.当内存用完时(其实真正大部分内存被cache占用,但没有释放),就导致可能系统使用交换分区,导致

系统运行长时间后速度越来越慢!

2.以上观点是基于我们原来的观点:linux系统下文件缓存是不可手工释放的(除非删除源文件)

如果我们的观点错误的话,那么可能是这样的情况,cache中的资源是可再利用的,那么当内存不足时,假如其

他程序再申请内存,系统将回权衡效率,是从cache中取资源呢?还是从交换分区中取资源?由于此是cache也是

非常的大,很有可能从cache中取回资源的效率也很差,所以就从swap中取,导致性能越来越差.

现在问题正解决中,希望大家发表下观点,不知道有什么解决方法没?

关键是如何解决所囤积的大量文件缓存!

开发环境是RedHat AS3 + oracle 10g
程序将会读取本地的大量数据(doc,pdf,ppt等各种文件类型),生成新文件进行分析和存储,并将某些相关信息存储到数据库中.

[ 本帖最后由 sdeven.lee 于 2006-11-22 11:10 编辑 ]

文库|博客

sunkez

家境小康

论坛徽章:: 0

2楼 [报告]

发表于 2006-11-22 11:35 |只看该作者

回复 1楼 sdeven.lee 的帖子

我也是遇到这中情况，cache不回收，结果用SWAP了，等待高手解答！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

longshort

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2006-11-23 10:12 |只看该作者

linux系统的文件缓存机制是不可释放的(除非把那个文件给删除了,那么文件缓存就能释放),所以导致系统内

可能有一点误解：

一般情况下，操作系统保留最少的内存区域作为备用，比如只有8MB-16MB左右。例如：
[~/src/db_campus]$ free
               total       used          free    shared buffers    cached
Mem:       515112    498716    16396       0    278448    54572
-/+ buffers/cache:    165696    349416
Swap:    2101032          0 2101032
[~/src/db_campus]$
这是我开机没多久的情况，尽管free项下只有16MB，但执行任何程序都很顺畅，并不进入到交换区内。原因是由于操作系统的算法决定了凡是公共可读的数据，一概放在高速缓冲区中，其存在寿命由用户使用的频度来决定。

通常情况下，只要使用的数据不超过系统内定的cache大小，系统总是把它放在cache中。在楼主的情况下，能够完整地存放在cache中的文件只要是持续在使用的，一般都位于内存之中，而无法完整放在内存中的文件，由于使用频度也很高，系统会将它放入交换区。

在cache和buffer区域中，如果有需要放入新的数据，那么操作系统将会寻找可用的内存。如果没有，系统会检查数据的使用频度，最早和最少使用的数据将首先被系统从内存中移到交换区去，把腾出来的空间用于新数据的存放。

可以根据操作系统的这种特点来重新决定您的系统应该有多大的内存空间和硬盘交换区的大小。不过，对交换区不要存在太多的偏见，一个重负载的系统是不可能不使用交换区的，不管您的硬件条件有多优秀。