sed -n文件达到1G效率低下

iteeqg

我有一个日志文件当文件增长到1G时读取就非常慢了

我现在的做法是这样，统计当前日志文件行号，下次执行只从上次行号开始读取至最后一行。

sed -n '10393410,$p' MemoryWriteLog20110517.log




文件小的时候还很快，当超过1G执行完将近一分钟，不知道大家有没有好的优化方法，或者是有更好的方法。

按道理我只是读取上一次执行到现在最后的行，内容最多几十M，没有理由这么慢的、

请教一下各位牛人。

Shell_HAT

这两个速度如何？

1. perl -ne 'print if $. >= 10393410' urfile

复制代码

1. awk 'NR>=10393410' urfile

复制代码

iteeqg

awk 'NR>=10393410' urfile


嗯，的确这个快很多。读取2G的文件仅10秒，谢谢了Shell_HAT  我再优化优化。

看来还是awk效率高。

blackold

$ ls -l urfile
-rwxr-xr-x 1 xl None 177M May 17 20:30 urfile*

$ wc -l urfile
71995030 urfile

$ time perl -ne 'print if $.>10393410' urfile >/dev/null
62.31s user
2.69s system
91% cpu
1:11.08 total

$ time tail -n +10393410 urfile >/dev/null
2.00s user
3.81s system
90% cpu
6.440 total

$ time awk 'NR>10393410' urfile >/dev/null
96.19s user
0.72s system
98% cpu
1:38.49 total

$ time sed -n '10393410,$p' urfile >/dev/null
133.19s user
0.62s system
98% cpu
2:15.88 total

$ time sed '1,10393410d' urfile >/dev/null
89.67s user
0.58s system
98% cpu
1:31.55 total

头几行/后几行问题，head/tail最快

两条sed 效率也不同。

iteeqg

黑哥就是黑哥，小弟拜读了。

Shell_HAT

从上次行号开始读取至最后一行

head/tail不太适合楼主的这个情况吧

blackold

回复 6# Shell_HAT


    某行至最后一行，用tail正好啊。

xrzs1986

回复 4# blackold


    看来实践出真知啊~
   学习了~

Shell_HAT

回复 7# blackold


对。
哎，这几天加班搞的头昏脑胀，不知道自己在想什么