4亿行数据,挑出长度不合要求的行

草肃威

有一个文本文件,大约是4亿行,每行都是
aaaaaaaaaa
bbbbbbbbbb
这样的10个字符,
但是其中有很少的不是10个字符的行(比如7个或者8个字符),想用脚本把这些行挑出来,
请问脚本应该怎么写?
最好速度快点的方法


先贴一个

wc -l stable.list
373366832 stable.list

time  awk 'length($0)!=10' file> file.bad

real    4m5.810s
user    3m59.703s
sys     0m3.890s
=========================
time egrep -v "^.{10}$" stable.list > list.bad

real    7m0.360s
user    6m52.589s
sys     0m2.646s
=========================
time perl -lne 'print if length != 10' stable.list > list.bad

real    1m59.953s
user    1m54.059s
sys     0m3.633s

lkk2003rty

1. awk 'length($0) != 10' file

复制代码

如果每行的数据不包括空格的话  

不知道效率如何

r2007

sed '/........../d'

ywlscpl

awk -F '' 'NF!=10' file >newfile
awk 'length($0)!=10' file >newfile

比较下看看

where27

egrep -v "^.{10}$" file
这个也不知道效率怎么样。。

iori809

回复 1# 草肃威


     一定要把运算时间贴出来啊哈哈~最好有会PERL的人来弄一个

草肃威

我都试试吧,等会儿给个结果

expert1

楼主time测试一下结果让我们看看吧。

awk -F "" 'NF!=10' file

草肃威

先贴一个

wc -l stable.list
373366832 stable.list

time  awk 'length($0)!=10' file> file.bad

real    4m5.810s
user    3m59.703s
sys     0m3.890s
=========================
time egrep -v "^.{10}$" stable.list > list.bad

real    7m0.360s
user    6m52.589s
sys     0m2.646s
=========================
time perl -lne 'print if length != 10' stable.list > list.bad

real    1m59.953s
user    1m54.059s
sys     0m3.633s

keymanlu

怎么写运行的时间呢？有环境变量吗?
例如set -o vi这样的？