大神帮助看一下理论上哪个效率能稍高一些？谢谢

bmne

只是把文档去重，效率排前面（临时制定一个标准：处理1GB以下的文档使用）。（除去sort -u不在讨论范围中）

1、awk 'a[$0]; END{for (i in a){print i}}'

2、perl -ane 'print if(++$a{$_}==1)'

3、awk '!a[$0]++'

4、sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P'    （虽最后一行产生空格，但，还是把它排上吧）


上面是我实战中摸索的效率从高到低的排序。但，实战中有时候表现也不稳定。处理1GB文档时，表现不是特别明显


请大神指点



另外，诚恳求助大神来一个效率比上面稍高一点的代码


辛苦了



忘说了，如果低于1GB，最好800M以下。下面这个排在第一位

1. cat<<EOF>aa.py
   
2. import time
   
3. print(time.strftime('readfile %H:%M:%S'))
   
4. raw_lines = file('8.txt').readlines()
   
5. print(time.strftime('procdata %H:%M:%S'))
   
6. un_keys = set()
   
7. unlines = []
   
8. for l in raw_lines:
   
9.     if l in un_keys:
   
10.         continue
    
11.     un_keys.add(l)
    
12.     unlines.append(l)
    
13. print(time.strftime('writefile %H:%M:%S'))
    
14. file('8.txt.out','w').writelines(unlines)
    
15. EOF
    
16. python aa.py

复制代码

yinyuemi

回复 1# bmne


    perl -ne 'print if !$a{$_}++' 把-a选项去掉

bmne

回复 2# yinyuemi


谢谢大神回复

看的真仔细


我操作时提示，Binary file a.txt matches    所以，我加上了-a。上面我忘了去掉了，不好意思


等会我试试你的去。辛苦






   

Windows19

你要多快啊？孩纸

bmne

回复 4# Windows19



大神来了。谢谢


你给排排序看看，理论上哪个应该稍快一些？





   

liion631818

回复 1# bmne
文件太大，试试先把文件拆分，分别去重，然后两两合并去除，直到最后一个。

   

bmne

回复 6# liion631818


谢谢大神回复