sed处理大文件的问题

macaw_w

-rw-r--r-- 1 root root 19149668437 04-10 03:32 1126_train_101.sql
-rw-r--r-- 1 root root   940539904 04-10 09:15 1126_train_101.sql.1
-rw-r--r-- 1 root root  8376476089 04-10 03:32 1126_train_102.sql


我用  sed 's#`\(.*\)`#`train_\1`#g' 1126_train_102.sql > 1126_train_102.sql.1 替换里面几个库名，但是差0.3GB就过不去了

但是直接用 sed 's#resource_center#train_resource_center#g;s#discuss_center#train_discuss_center#g;s#blog_center#train_blog_center#g;' 1126_train_102.sql > 1126_train_102.sql.1 替换就没问题

server有8G内存，个人理解是读入东西太多, 但是sed不是逐行处理么，不解。

wtuter

应该是缓存不够

lululau

你这个只要sed 's/`/`train_/'不就行了？

liying_gg

。。。

[ 本帖最后由 liying_gg 于 2009-11-26 17:12 编辑 ]

macaw_w

开始是这么写

sed '/CREATE DATABASE/s#`\(.*\)`#`train_\1`#g' 1126_train_102.sql > 1126_train_102.sql.1

我目的是改几个库名，我觉得如果逐行执行并且重定向到新文件里面，我觉得8G应该够了吧。

macaw_w

原帖由 wtuter 于 2009-11-26 16:44 发表
应该是缓存不够

sed是先缓冲所有结果，然后再倒入管道么？
如果这样，应该会计算很长时间，我开始能看到数据，最后剩300M，计算就失效了，但还占用1个线程，一直没有释放。

ly5066113

如果你的文件不是只有一行记录，内存绝对不是问题。
你确认你的磁盘空间够用？

macaw_w

原帖由 ly5066113 于 2009-11-26 17:35 发表
如果你的文件不是只有一行记录，内存绝对不是问题。
你确认你的磁盘空间够用？

/dev/mapper/VolGroup00-LogVol00
                      131G   66G   59G  53% /

磁盘够

haimming

运行时用top看看内存变化情况，会不会存在一行很长的

blackold

内存不是问题。

我256M不到破机器都可以搞定。