去掉重复行

blss2008

大家好，我现在手边有一TXT文件，30G左右，想整行对比去掉重复格式如下：
123456----123123
123456----123456
123sdf----123123
1231明----123123
123456----123123
123456----123456
123sdf----123123
1231明----123123
123sdf----123456
1231明----123456

希望去掉重复行后变为
123456----123123
1231明----123456
1231明----123123
123456----123456
123sdf----123456
123sdf----123123

用来处理得机器分别为6G、32G内存，从1.txt读取，去重后保存为2.txt，这个shell怎么写？

jason680

回复 1# blss2008

1. awk
$ awk '!a[$0]++' 1.txt > 2.txt

2. sort
$ sort -u 1.txt > 2.txt

3. database 数据库
   

MMMIX

回复 1# blss2008


    关键在于去重之后的文件2.txt 有多大。若是和你机器的物理内存差不多大的话，还是用数据库吧，更方便，也更高效；若是去重后结果不大（例如只有几百M甚至更小，那直接用（各种语言的） hash 就可以。

blss2008

回复 2# jason680


   

用第一句AWK的很卡，处理个1G大小的文本，挂半天才处理600多MB

第二句SORT的，1G的文本大概10来分钟左右完，但是处理后出现乱码，不知道是不是有中文的问题。

blss2008

回复 3# MMMIX


   

处理后估计还有25G上下。

MMMIX

回复 5# blss2008


    上数据库。

大蚂蚁

既然是文本，
简单点，split分成30个1G的，然后sort -u 随便你玩

baoersc

学习了……如何统计重复行的个数呢

MMMIX

回复 7# 大蚂蚁


    分割之后跨文件的重复你准备怎么弄？

blss2008

回复 7# 大蚂蚁


   
一开始就是分成2G的，然后去重复，发现去重复后，跨文件的重复无法处理。。。