删除相同列的行

hanyi412

如下：

b1946ac92492d2347c6235b4d2611184  /tmp/A/1.txt
764efa883dda1e11db47671c4a3bbd9e   /tmp/A/2.txt
d82b717e817375fbd1cc6a4a33c7b933   /tmp/A/3.txt
764efa883dda1e11db47671c4a3bbd9e   /tmp/B/2.txt
d82b717e817375fbd1cc6a4a33c7b933   /tmp/B/3.txt
d41d8cd98f00b204e9800998ecf8427e   /tmp/B/4.txt

删除第一列内容相同的行，留下：
b1946ac92492d2347c6235b4d2611184  /tmp/A/1.txt
d41d8cd98f00b204e9800998ecf8427e   /tmp/B/4.txt

1happy9hao

1. for i in `awk '{print $1}' test.txt | sort | uniq -u`; do grep $i test.txt >> new.txt; done

复制代码

比较笨的办法，

bulletmarquis

1. awk '!a[$1]++{b[$1]=$0}a[$1]>1{delete b[$1]}END{for(i in b)print b[i]}' file

复制代码

li0924

1. awk '{b[$1]=$0;if(++a[$1]>1)delete b[$1]}END{for(i in b)print b[i]}' file

复制代码

hanyi412

我用 awk 'arr[$1]++' 出来的是第一列内容相同的行，有没有更简单的方法？

yestreenstars

1. awk '{a[$1]++;b[$1]=$0}END{for(i in a)if(a[i]==1)print b[i]}'

复制代码

reyleon

1. awk '{x[$1]=$0;if(!y[$1]++)z[++n]=$1;else{delete x[$1];--n}}END{for(i=0;i++<n;)print x[z[i]]}' file

复制代码

Buring__

1. awk '{a[$1]++;b[$1]=$0}END{for(i in a)if(a[i]<2)print b[i]}' urfile

复制代码

Kasiotao

1. awk -F\/ '{a[$4]++;b[$4]=$0}END{for(i in a)if(a[i]==1)print b[i]}' testfile

复制代码

bulletmarquis

回复 5# hanyi412

    莫非是这个意思？

1. grep -vf <( awk 'a[$1]++{print $1}' file) file

复制代码