4亿行数据,挑出长度不合要求的行

ly5066113

只是查找没有编辑的问题应该是grep最快

expert1

hehe,有意思啊。

r2007

大文件的测试会受到磁盘cache的影响，一般情况后运行的占一些便宜。

南极雨

聪明啊！

xyx219

gawk 'length($0)<10 {print NR,$0}' file

juyi

回复 1# 草肃威


    如果使用C语言 ssccanf 会不会更快些？

禁飞区

大文件的测试会受到磁盘cache的影响，一般情况后运行的占一些便宜。
r2007 发表于 2010-06-13 13:03

   

  这位仁兄提醒的对, 4亿行的数据量, 15,000转/7,500转的响应时间绝对是有差距的. 包括CPU指标.

  当然,您要是在超级计算机上跑, 效率会更佳.

  新手不才, 还请指教.

草肃威

回复 36# juyi


    这个显然会快很多很多.

peacock66

有一个文本文件,大约是4亿行,每行都是
aaaaaaaaaa
bbbbbbbbbb
这样的10个字符,
但是其中有很少的不是10 ...
草肃威 发表于 2010-06-12 16:17

    grep '[a-z]\{10\}' file

linscora

回复 33# r2007


    那每测一次运行一下

1. #sysctl -w vm.drop_caches=3

复制代码

。
    这个就不会受到前面的影响了。