关于处理比较大的文件的问题

sukylove1314

有一个文本文件，比较大，有差不多500多万行，打开都得半天时间。
现在要对此文件进行处理，把符合“312” “333” “355” 。。。。。等等符合条件的行的前N行和后M行取出来再重新生成到一个新文件里。
我用了sed,gerp -A -B等方法，跑了4个小时还跑不出来。请教下处理大文件时有什么好方法？

galford433

我的原则：只要文件大于200M，什么sed/grep的都不用了，要用awk或者专门程序来读
如果文件比内存的2/3还大，先拆再写awk处理。
grep/sed都是逐行扫描，awk用哈希散列明显快很多（资源也吃得多）。

__lxmxn__

推荐用perl~

springwind426

1. 
   
2. awk '
   
3. BEGIN{N=10;M=10;i=0;printf "Top %d\n",N}
   
4. /(312|333|355)/{i++;if(i<=N)print;a[i%M]=$0;}
   
5. END{printf "\nLast %d\n",M;for(s in a)print a[s]}'  数据文件
   
6. 
   
7. 只是不知道效率如何？
   

复制代码

bigqueues

泡杯茶等着

blackold

我的机器不算好，可是处理500万行的数据还是很快的。

没有LZ所说的问题。