免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3471 | 回复: 11

sed -n文件达到1G效率低下 [复制链接]

论坛徽章:
0
发表于 2011-05-17 19:00 |显示全部楼层
我有一个日志文件当文件增长到1G时读取就非常慢了

我现在的做法是这样,统计当前日志文件行号,下次执行只从上次行号开始读取至最后一行。

sed -n '10393410,$p' MemoryWriteLog20110517.log




文件小的时候还很快,当超过1G执行完将近一分钟,不知道大家有没有好的优化方法,或者是有更好的方法。

按道理我只是读取上一次执行到现在最后的行,内容最多几十M,没有理由这么慢的、

请教一下各位牛人。

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2011-05-17 19:19 |显示全部楼层
这两个速度如何?
  1. perl -ne 'print if $. >= 10393410' urfile
复制代码
  1. awk 'NR>=10393410' urfile
复制代码

论坛徽章:
0
发表于 2011-05-17 19:35 |显示全部楼层
awk 'NR>=10393410' urfile


嗯,的确这个快很多。读取2G的文件仅10秒,谢谢了Shell_HAT  我再优化优化。

看来还是awk效率高。

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
发表于 2011-05-17 21:22 |显示全部楼层
本帖最后由 blackold 于 2011-05-17 21:24 编辑
$ ls -l urfile
-rwxr-xr-x 1 xl None 177M May 17 20:30 urfile*

$ wc -l urfile
71995030 urfile

$ time perl -ne 'print if $.>10393410' urfile >/dev/null
62.31s user
2.69s system
91% cpu
1:11.08 total

$ time tail -n +10393410 urfile >/dev/null
2.00s user
3.81s system
90% cpu
6.440 total

$ time awk 'NR>10393410' urfile >/dev/null
96.19s user
0.72s system
98% cpu
1:38.49 total

$ time sed -n '10393410,$p' urfile >/dev/null
133.19s user
0.62s system
98% cpu
2:15.88 total

$ time sed '1,10393410d' urfile >/dev/null
89.67s user
0.58s system
98% cpu
1:31.55 total


头几行/后几行问题,head/tail最快

两条sed 效率也不同。

论坛徽章:
0
发表于 2011-05-17 22:47 |显示全部楼层
黑哥就是黑哥,小弟拜读了。

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2011-05-17 22:54 |显示全部楼层
从上次行号开始读取至最后一行

head/tail不太适合楼主的这个情况吧

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
发表于 2011-05-17 23:07 |显示全部楼层
回复 6# Shell_HAT


    某行至最后一行,用tail正好啊。

论坛徽章:
1
双子座
日期:2013-10-17 00:46:45
发表于 2011-05-18 00:55 |显示全部楼层
回复 4# blackold


    看来实践出真知啊~
   学习了~

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
发表于 2011-05-18 02:47 |显示全部楼层
回复 7# blackold


对。
哎,这几天加班搞的头昏脑胀,不知道自己在想什么

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
发表于 2011-05-18 10:31 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP