求助——对大文件的操作问题

bourn

现有一30万行左右的文本文件a.txt，需要对其中的某些记录（大约10万条）进行删除，同时需要对这些记录进行备份。
这些记录的规则描述是："^..........ABCDEFGH"。其中ABCDEFGH的可能性有3千多种，全部保存在一个临时文件temp中。
我的方法是使用grep或awk进行备份，
while read head;do
awk '/^..........'$head'/{print NR,$0}' a.txt >> a.bak
done < temp
但是效率很低，求助一个效率高的方法进行相关操作。


另外，如果已经得到需要删除的行的行号（不规则），如何进行删除操作，效率好？

lych

shell对30万行的记录,无论用什么速度都慢!还是用vi吧

aerofox

试试

1. 
   
2. while read head; do
   
3.     echo "^.........$head"
   
4. done > pattern_list
   
5. egrep -f pattern_list a.txt > a.bak
   

复制代码

admirer

1. 备份
   
2. grep -f temp a.txt >a.bak
   
3. 删除
   
4. grep -v -f temp a.txt >a.org

复制代码