免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123456
最近访问板块 发新帖
楼主: stsrichard
打印 上一主题 下一主题

如何删除文本文件的最后一行?要求效率最高. [复制链接]

论坛徽章:
0
51 [报告]
发表于 2009-05-30 15:43 |只看该作者

如何高效地删除大文本文件的最后一行 [python]

直接打命令./delll <文件名>
对ascii文本测试过了,没事,不知道unicode行不行

#!/usr/bin/env python
#encoding=utf-8
import sys, os
f = open(sys.argv[1], "r+b")
f.seek(0, os.SEEK_END)
flen = f.tell()
pos = flen - 1
while(pos > 0):
    f.seek(pos, os.SEEK_SET)
    ch = f.read(1)
    if ch=="\n" and pos != flen-1:
        pos += 1; break
    else:
        pos -= 1
f.truncate(pos)


[ 本帖最后由 大于连 于 2009-5-30 16:01 编辑 ]

论坛徽章:
7
荣誉版主
日期:2011-11-23 16:44:17子鼠
日期:2014-07-24 15:38:07狮子座
日期:2014-07-24 11:00:54巨蟹座
日期:2014-07-21 19:03:10双子座
日期:2014-05-22 12:00:09卯兔
日期:2014-05-08 19:43:17卯兔
日期:2014-08-22 13:39:09
52 [报告]
发表于 2009-05-30 18:59 |只看该作者

回复 #51 大于连 的帖子

这个,我以为...我开始怀疑我的语文水平了^_^

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
53 [报告]
发表于 2009-05-30 20:56 |只看该作者
不懂python, 不知道效率如何。
我想应该不比dd快吧。

而且代码也很长。

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
54 [报告]
发表于 2009-05-31 14:54 |只看该作者
最快的自然是C咯,
open之后stat
然后从后往前读,每次读一块.然后从后往前查\n(如果想要更快,可以汇编加速,很多CPU都可以支持反序查加速,包括X86/power系列等,当然一般不至于变态至此吧),查到了,truncate一下

论坛徽章:
3
2015年迎新春徽章
日期:2015-03-04 09:56:11数据库技术版块每日发帖之星
日期:2016-08-03 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
55 [报告]
发表于 2009-05-31 15:02 |只看该作者
sed慢的原因很简单:sed并不会调用truncate,只会去不停的read/write,另外,解释器有没有对sed程序来进行内编译一遍,编译之后的优化问题还两说,尽管这只有两个字符,但如果优化的不是那么离谱的话,不断的解析也是要耗费一点的.

论坛徽章:
0
56 [报告]
发表于 2009-06-09 13:03 |只看该作者

回复 #53 blackold 的帖子

绝对比dd快        呵呵
从后往前扫描 调用truncate都不花什么时间的

论坛徽章:
0
57 [报告]
发表于 2009-10-19 16:48 |只看该作者
我想问个问题: 用dd的方法,我理解就是在最后一行的第一个字节 置了一个0.  然后认为是文件的结束了(相当于删除了最后一行)

但是为什么dd删除最后一行后,查看文件的大小实际也变小了。。 dd 不是数据流的直接操作么?为什么会通知文件系统对文件记录也做了改动?

论坛徽章:
0
58 [报告]
发表于 2009-11-25 11:57 |只看该作者
dd of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))



想问下那还要前面的 做什么?

dd if=/dev/null of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))  这么写好像也行

[ 本帖最后由 windpray 于 2009-11-25 12:09 编辑 ]

论坛徽章:
1
射手座
日期:2014-03-10 14:24:52
59 [报告]
发表于 2009-11-27 10:36 |只看该作者
原帖由 r2007 于 2009-5-22 16:37 发表
罗嗦点儿
dd of=urfile seek=1 bs=$(($(find urfile -printf "%s"-$(tail -1 urfile|wc -c)))
or
dd of=urfile seek=1 bs=$(($(stat -c%s urfile)-$(tail -1 urfile|wc -c)))

不明真相群众围观!顺便膜拜一下
orz

论坛徽章:
0
60 [报告]
发表于 2009-11-27 17:14 |只看该作者
玩linux的宿命就是c呀 !!!!!!!!!!!!!!!!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP