How to process billions of small files with limited memory?

Osirix

在当前目录下，一共有几百万个小文件，需要删除内容中所有含特定关键词的文件，而可用内存只有64MB
试了下：
find . -type f -exec grep -i -l -H "keyword" {} + |xargs -i rm -rf {}

出现"Out of Memory"错误


这样类似的任务在大型网站的日志维护中应该经常出现，大家能否分享下解决的好方法呢？

HH106

try:

1. find . -type f  | xargs grep -i -l -H "keyword" | xargs rm -fr

复制代码

iori809

find -type f -name "keyword" -exec rm {} \;
这样应该也行吧？

Osirix

try:
HH106 发表于 2010-05-27 09:07

   

    Failed!

lzolder

文件太多，可能要更改核心参数，什么操作系统呀？

Osirix

文件太多，可能要更改核心参数，什么操作系统呀？
lzolder 发表于 2010-05-27 10:34

    Fedora 12

blackold

1. grep -Eril "keyword" .|xargs rm -rf

复制代码

lzolder

不知

我只了解AIX下如何改

PKkingSon

循环可以不:
for F in *
do
    grep "keyword"  $F && rm -f $F
done

有可能非常慢

redspider

64M 足够