如何剔除重复号码的行

iocg

如下的文本（文本间用tab）：


2015/10/5        吴女士        网络中介        15900002687        日语
2015/10/15        林姐        留学中介        18000001217        英语
2015/10/7        杜先生        网搜        18900000906        口语
2015/10/19        陈小姐        TQ        13300009352        西班牙语
2015/10/0        陈小姐        TQ        13300009352        西班牙语
2015/10/24        吴女士        TQ        13500003866        日语
2015/10/6        李小姐        转介绍        18600001706        英语
2015/10/27        王学        网搜        18500008867        韩语
2015/10/30        余先生        口碑        18500005868        日语
2015/11/1        汤同学        网搜        15600006137        德语
2015/11/3        林生        网搜        15900007553        雅思
2015/11/13        林女士        口碑        13000003966        口语
2015/11/13        王小姐        TQ        13900002264        日语
2015/11/17        同学        微博微信        18100003153        口语
2015/11/8        周女士        户外广告        13800009231        韩语
2015/10/27        王同学        网搜        18500008867        韩语
2015/10/30        余生        口碑        18500005868        日语
2015/11/1        汤同学        网搜        15600006137        德语
2015/11/13        林先生        网搜        15900007553        雅思
2015/11/13        林女士        口碑        13000003966        口语
2015/10/5        同学        微博微信        18500002966        日语
2015/10/15        吴女士        网络中介        15900002687        日语
2015/10/5        林小姐        留学中介        18000001217        英语
2015/10/17        杜先        网搜        18900000906        口语
2015/10/13        同学        网搜        15600008199        韩语
2015/10/3        李先生        网搜        13100003060        法语
2015/10/13        林同学        校园宣传        15900003700        雅思
2015/10/4        丁女士        网搜        13600003228        英语
2015/10/10        李士        口碑        15000000759        英语
2015/10/1        王同学        网搜        13200001278        韩语
2015/10/2        唐同学        微博微信        15700007973        雅思
2015/10/15        倪生        网搜        15500003277        日语
2015/10/5        刘先生        网搜        18600001322        韩语
2015/10/15        同        微博微信        18500002966        日语
2015/10/15        吴女士        网络中介        15900002687        日语


============
所有行的号码可能有重复，相同号码视为同一人。
我想保留一个号码就行了！

Riet

awk -F"\t" '{a[$4]=$0}END{for(i in a)print a[i]}'

hz_oracle

sort -k4 quchong.txt | uniq -f 3 -w 5

hz_oracle

sort -k4 quchong.txt | uniq -f 3 -w 5

jcdiy0601

awk '!a[$4]++' file
2015/10/5        吴女士        网络中介        15900002687        日语
2015/10/15        林姐        留学中介        18000001217        英语
2015/10/7        杜先生        网搜        18900000906        口语
2015/10/19        陈小姐        TQ        13300009352        西班牙语
2015/10/24        吴女士        TQ        13500003866        日语
2015/10/6        李小姐        转介绍        18600001706        英语
2015/10/27        王学        网搜        18500008867        韩语
2015/10/30        余先生        口碑        18500005868        日语
2015/11/1        汤同学        网搜        15600006137        德语
2015/11/3        林生        网搜        15900007553        雅思
2015/11/13        林女士        口碑        13000003966        口语
2015/11/13        王小姐        TQ        13900002264        日语
2015/11/17        同学        微博微信        18100003153        口语
2015/11/8        周女士        户外广告        13800009231        韩语
2015/10/5        同学        微博微信        18500002966        日语
2015/10/13        同学        网搜        15600008199        韩语
2015/10/3        李先生        网搜        13100003060        法语
2015/10/13        林同学        校园宣传        15900003700        雅思
2015/10/4        丁女士        网搜        13600003228        英语
2015/10/10        李士        口碑        15000000759        英语
2015/10/1        王同学        网搜        13200001278        韩语
2015/10/2        唐同学        微博微信        15700007973        雅思
2015/10/15        倪生        网搜        15500003277        日语
2015/10/5        刘先生        网搜        18600001322        韩语

wjemail

请教一下，awk '!a[$4]++' file 这个是否如下理解呢？ 比如说第一次出现号码1的时候，a[1]的值为零，第二次出现号码1的时候，a[1]++就是1了，这时!a[$4]++就成了！1，相当于not true，不匹配所以不输出。

hz_oracle

回复 7# wjemail

是这样理解的。聪明

   

liion631818

1. awk '{a[$4]++;if(a[$4]==1)print;}'

复制代码

回复 1# iocg


   

jason680

回复 7# wjemail

awk初学之常见问题
http://bbs.chinaunix.net/thread-2309494-1-1.html