去重的问题请教

zjdick

请教大神，如下数据，我如何按照第二列去重？
20101225  aabbcc
20101226  aabbcc
20101225  abc
20101226  abc
20101225  a
20101226  a
期望得到最后的数据是：
20101225  aabbcc
20101225  abc
20101225  a
因为数据量比较大，先把第二列拿出来去重后，再来找效率比较低，有没有好办法能直接按第二列去重，多谢多谢。

ly5066113

已经排序好了？

xiaopan3322

1. [root@hzlinea02 test]# cat urfile
   
2. 20101225  aabbcc
   
3. 20101226  aabbcc
   
4. 20101225  abc
   
5. 20101226  abc
   
6. 20101225  a
   
7. 20101226  a
   
8. [root@hzlinea02 test]# uniq -f 1 urfile
   
9. 20101225  aabbcc
   
10. 20101225  abc
    
11. 20101225  a

复制代码

zjdick

回复 2# ly5066113


    实际数据是没排序的，不过去重后的数据也无需一定是第一行数据，随便一行即可。

zjdick

回复 3# xiaopan3322


    神人啊。泪牛满面。

   我之前还man过uniq，眼神直接从-f上飘过了。

ly5066113

回复 4# zjdick


没排序的，如果内存够大，就
awk '!a[$2]++'

如果内存不够，就sort -u -k2,2 吧

yinyuemi

awk '{print (a[$2]++?""0)}'  file | sed '/^$/d'

L_kernel

uniq -f N

cjaizss

awk '!a[$2]++'