免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123
最近访问板块 发新帖
楼主: justlooks
打印 上一主题 下一主题

如何删除大文件的末尾几行?(效率优先,文件有几十G) [复制链接]

论坛徽章:
7
荣誉版主
日期:2011-11-23 16:44:17子鼠
日期:2014-07-24 15:38:07狮子座
日期:2014-07-24 11:00:54巨蟹座
日期:2014-07-21 19:03:10双子座
日期:2014-05-22 12:00:09卯兔
日期:2014-05-08 19:43:17卯兔
日期:2014-08-22 13:39:09
21 [报告]
发表于 2009-10-15 20:51 |只看该作者
#!/usr/bin/perl

use strict;
use warnings;

# For the SEEK_* constants
use Fcntl qw(:seek);
use File::ReadBackwards;

my $LINES = 10;     # Change to 125_000 or whatever
my $File = shift;   # file passed in as argument

my $rbw = File::ReadBackwards->new($File) or die $!;

# Count backwards $LINES or the beginning of the file is hit
my $line_count = 0;
until( $rbw->eof || $line_count == $LINES ) {
    $rbw->readline;
    $line_count++;
}

# Get the real filehandle out of the File::ReadBackwards
my $fh = $rbw->get_handle;

# Chop off everything from that point on.
truncate($File, $rbw->tell);

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
22 [报告]
发表于 2009-10-15 21:15 |只看该作者

回复 #13 sinic 的帖子

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
23 [报告]
发表于 2009-10-15 22:10 |只看该作者
已经讨论过好几次了。

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
24 [报告]
发表于 2009-10-16 14:02 |只看该作者
原帖由 r2007 于 2009-10-15 20:51 发表
#!/usr/bin/perl

use strict;
use warnings;

# For the SEEK_* constants
use Fcntl qw(:seek);
use File::ReadBackwards;

my $LINES = 10;     # Change to 125_000 or whatever
my $File = shif ...

你这个太冗长了。

perl -e '$f = shift; truncate( $f => (-s $f) - shift )' 1.pl $(tail -10 1.pl|wc -c)

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
25 [报告]
发表于 2009-10-16 14:08 |只看该作者
原帖由 Shell_HAT 于 2009-10-15 21:15 发表
这里:
http://bbs.chinaunix.net/viewthread.php?tid=1459945

我错了!我错了!
还是 r2007 的办法好,
dd 没有 if 的时候等同于 truncate ……

败走……内牛满面……

论坛徽章:
0
26 [报告]
发表于 2009-10-17 08:01 |只看该作者
来个简单的

head -n -3

论坛徽章:
7
荣誉版主
日期:2011-11-23 16:44:17子鼠
日期:2014-07-24 15:38:07狮子座
日期:2014-07-24 11:00:54巨蟹座
日期:2014-07-21 19:03:10双子座
日期:2014-05-22 12:00:09卯兔
日期:2014-05-08 19:43:17卯兔
日期:2014-08-22 13:39:09
27 [报告]
发表于 2009-10-17 20:16 |只看该作者
原帖由 efhilt 于 2009-10-17 08:01 发表
来个简单的

head -n -3

不考虑效率时是个常用的方案。

论坛徽章:
0
28 [报告]
发表于 2009-10-17 21:28 |只看该作者
学习一下.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP