删除重复行的问题

zerohly

1 218.107.55.140:16133 #广东省广州市
2 218.107.63.89:16033 #广东省广州市联通
3 218.107.63.89:16033 #广东省广州市联通
4 123.125.49.57:40533 #北京市联通ADSL
5 60.12.227.134:13233 #浙江省杭州市联通IDC机房
6 123.125.49.12:13733 #北京市联通ADSL
7 60.12.227.134:13233 #浙江省杭州市联通IDC机房
8 123.125.49.235:51338 #北京市联通ADSL
9 123.125.49.59:10276 #北京市联通ADSL
10 123.125.48.216:10806 #北京市联通ADSL
11 220.21.71.81:43633 #北京市电信
12 220.21.36.36:43133 #北京市电信
13 220.21.71.116:8533 #北京市电信
14 220.21.36.49:8233 #北京市电信
15 220.21.36.245:8633 #北京市电信
16 220.181.71.117:10126 #北京市电信
17 60.191.84.70:10696 #浙江省杭州市电信

以上比如第2行 和第3行 都有218.107.63.89:16033，其中只保留第1次出现的那行，第5行和第7行都有60.12.227.134:13233

匹配第2列重复的字符串，仅保留第一次出现的该行。

以上如何操作.. 谢谢

saintdragon

好像论坛前段时间就问过类似的问题吧

好看的附件

回复 1# zerohly


    老问题了，try:

1. awk '!a[$2]++'  file

复制代码

kwokcn

老生常谈，搜索一下能找到类似问题的。

1. 
   
2. awk '++a[$2]==1' URFILE
   

复制代码