关于比对文件中重复数据的请教

niceyy

各位前辈，请教一个是用shell脚本比对文件中重复数据的问题。例如我现在的文件中存在大量如下数据：
/aaa/bbb/ccc/ddd
/aaa/bbb/ccc/ddd
/aaa/ccc/bbb/ddd
/aaa/ccc/bbb/ddd
/aaa/bbb/ccc/ddd
/aaa/bbb/ccc/ddd
/aaa/bbb/ccc/ddd
/aaa/eee/ccc/ddd
/aaa/eee/ccc/ddd
/aaa/fff/ccc/ddd
.....

数据量很大，大约30万条左右，能否有一个效率较高的办法，删除重复数据后输出如下结果：
/aaa/bbb/ccc/ddd
/aaa/ccc/bbb/ddd
/aaa/eee/ccc/ddd
/aaa/fff/ccc/ddd
.....
十分感谢！！

yinyuemi

1. awk '!($0  in a){a[$0];print}'

复制代码

liion631818

回复 1# niceyy


    这种 问题论坛里很多，可以去搜搜
   
   Try：

1. sort file | uniq -c

复制代码

shplpy

同意2楼的答案，效率上会好些

liion631818

回复 2# yinyuemi

  大侠。
       $0 in a是什么意思？ 表示 数组a中存在以$0作为索引的元素？
       没看到awk中in的用法啊

yinyuemi

回复  yinyuemi

  大侠。
       $0 in a是什么意思？ 表示 数组a中存在以$0作为索引的元素？
      ...
liion631818 发表于 2011-05-18 09:48

    恩，差不多就这个意思，也就是判断$0是否存在于数组a的下标中。
in 的用法经常看到啊，比如

1. for (i in a) print a[i]

复制代码

liion631818

回复 6# yinyuemi


   
    学习了，只知道在for里面用in，原来 elem in array 就是一个判断啊

xiaopan3322

回复 3# liion631818


    按题意不需要加-c选项

mir620

學習了

liion631818

回复 8# xiaopan3322


    哦，对啊！还是bob火眼