免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 22736 | 回复: 59
打印 上一主题 下一主题

如何删除文本文件的最后一行?要求效率最高. [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-05-22 10:38 |只看该作者 |正序浏览
sed '$d' input.file > output.file

input.file size is 660M, 整个运行时间大概需要2分钟. 问题是只需要删除最后一行,时间应该很短才对啊。所以发帖询问,如何才能快速的删除文件最后一行?

[ 本帖最后由 stsrichard 于 2009-5-22 11:08 编辑 ]

论坛徽章:
0
60 [报告]
发表于 2009-11-27 17:14 |只看该作者
玩linux的宿命就是c呀 !!!!!!!!!!!!!!!!

论坛徽章:
1
射手座
日期:2014-03-10 14:24:52
59 [报告]
发表于 2009-11-27 10:36 |只看该作者
原帖由 r2007 于 2009-5-22 16:37 发表
罗嗦点儿
dd of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))
or
dd of=urfile seek=1 bs=$(($(stat -c%s urfile)-$(tail -1 urfile|wc -c)))

不明真相群众围观!顺便膜拜一下
orz

论坛徽章:
0
58 [报告]
发表于 2009-11-25 11:57 |只看该作者
dd of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))



想问下那还要前面的 做什么?

dd if=/dev/null of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))  这么写好像也行

[ 本帖最后由 windpray 于 2009-11-25 12:09 编辑 ]

论坛徽章:
0
57 [报告]
发表于 2009-10-19 16:48 |只看该作者
我想问个问题: 用dd的方法,我理解就是在最后一行的第一个字节 置了一个0.  然后认为是文件的结束了(相当于删除了最后一行)

但是为什么dd删除最后一行后,查看文件的大小实际也变小了。。 dd 不是数据流的直接操作么?为什么会通知文件系统对文件记录也做了改动?

论坛徽章:
0
56 [报告]
发表于 2009-06-09 13:03 |只看该作者

回复 #53 blackold 的帖子

绝对比dd快        呵呵
从后往前扫描 调用truncate都不花什么时间的

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
55 [报告]
发表于 2009-05-31 15:02 |只看该作者
sed慢的原因很简单:sed并不会调用truncate,只会去不停的read/write,另外,解释器有没有对sed程序来进行内编译一遍,编译之后的优化问题还两说,尽管这只有两个字符,但如果优化的不是那么离谱的话,不断的解析也是要耗费一点的.

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
54 [报告]
发表于 2009-05-31 14:54 |只看该作者
最快的自然是C咯,
open之后stat
然后从后往前读,每次读一块.然后从后往前查\n(如果想要更快,可以汇编加速,很多CPU都可以支持反序查加速,包括X86/power系列等,当然一般不至于变态至此吧),查到了,truncate一下

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
53 [报告]
发表于 2009-05-30 20:56 |只看该作者
不懂python, 不知道效率如何。
我想应该不比dd快吧。

而且代码也很长。

论坛徽章:
7
荣誉版主
日期:2011-11-23 16:44:17子鼠
日期:2014-07-24 15:38:07狮子座
日期:2014-07-24 11:00:54巨蟹座
日期:2014-07-21 19:03:10双子座
日期:2014-05-22 12:00:09卯兔
日期:2014-05-08 19:43:17卯兔
日期:2014-08-22 13:39:09
52 [报告]
发表于 2009-05-30 18:59 |只看该作者

回复 #51 大于连 的帖子

这个,我以为...我开始怀疑我的语文水平了^_^
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP