shell处理相同的行？

tengfei0311

我有一个文件，里面有几千行，但是里面有重复的行：比如：

T23    TJ      23.12   56.678
WUQ   YU     13.02   57.689
T23    TJ      23.12   56.678
YIN     SQ     25.369   23.943
。。。。。。

现在第一行与第三行的四列值相同，所以要删掉第三行或者第一行，保证不重复，用shell怎么实现啊？谢谢！

西山晴雪

如果只是删除重复的行，就很简单了。
[root@localhost ~]# cat a.log
T23    TJ      23.12   56.678
WUQ   YU     13.02   57.689
T23    TJ      23.12   56.678
YIN     SQ     25.369   23.943
[root@localhost ~]# cat a.log |sort -u
T23    TJ      23.12   56.678
WUQ   YU     13.02   57.689
YIN     SQ     25.369   23.943

jason680

回复 1# tengfei0311

$ awk '!a[$0]++' FILE

http://bbs.chinaunix.net/thread-2309494-1-1.html

aaaa_123

回复 1# tengfei0311

awk '!a[$3]++'  log

aaaa_123

回复 1# tengfei0311

awk '!a[$3]++'  log

aaaa_123

[$4]        

wh7211

回复 1# tengfei0311

1. sort -u file
   
2. awk '!a[$0]++' file

复制代码