关于去除重复行，求助

blss2008

文本30多G，中英文都有，
目前用过几个办法都无法准确去除重复。大家帮忙看看该怎么解决。
分割成小文本来处理得话，跨文件的重复目前没思路解决。

1. awk
$ awk '!a[$0]++' 1.txt > 2.txt

用AWK的很卡，处理个1G大小的文本，挂半天才处理600多MB


2. sort
$ sort -u 1.txt > 2.txt

SORT的，1G的文本大概10来分钟左右完，但是处理后出现乱码，不知道是不是有中文的问题






3 SQL 2008 R2

用SQL处理15G的文本，用下面的语句，挂机两个小时左右就蓝屏重启了，
下图是处理5G文本时弹出的错误，

select distinct convert(varchar(8000),coltext,111) from tab1;

bikong0411

先按照文件大小切一下文件吧

blss2008

回复 2# bikong0411


   
分割后，跨文件的重复怎么处理。。

bikong0411

回复 3# blss2008


    合并继续去重啊

baoersc

帮顶，看到你以前提的问题。

pyartist

我用sort处理中英文的文档是可以的呀，不过没处理过这么大的。不知道出来大文件出现什么状况，楼主试一试在你的环境下sort小文件是不是会出现乱码，若是那解决问题就变成了乱码问题

去重复行：
cat filename |uniq > output

or:

perl: hash
my %line;
$line{这行内容} = "";
keys %line就是去重的内容