删除文本中某字段同样的行

eGenius

有类似下列这样一组数据

310150        3104287        19        28        9        10        1        8        32.14%
310150        3109464        57        135        24        33        29        49        57.78%
310150        3109464        125        209        51        74        36        48        40.19%
310150        3109887        48        122        17        31        28        46        60.66%
310202        3108051        48        140        16        32        37        55        65.71%
310202        3108051        77        155        20        57        38        40        50.32%
310202        3109447        75        102        33        42        12        15        26.47%

将第二列重复的行去除，该怎么写？

ailms

用 sort + uniq 可以吗？

寂寞烈火

tr -s ' '<urfile|cut -f2 -d' '|uniq -u|xargs -i grep {} urfile

ivhb

原帖由 寂寞烈火 于 2007-7-25 16:10 发表
tr -s ' '

grep恐怕不是个很好的选择。至少这个命令里还没有限定重复的是哪个域。不够严谨吧
另外，uniq之前没有sort，算是个纰漏吧

[ 本帖最后由 ivhb 于 2007-7-25 16:14 编辑 ]

rwx_hc

awk 'NR==FNR {a[$2]++};NR>FNR&&a[$2]==1' urfile urfile

eGenius

排序已经排好了，就是怎么剔除第二列相同的行

eGenius

5楼这个貌似可以，但是把所有重复的行全都去掉了，我是想要保留一条纪录

[ 本帖最后由 eGenius 于 2007-7-25 17:01 编辑 ]

eGenius

awk 'NR==FNR {a[$2]++};NR>FNR&&a[$2]==1' urfile urfile

不对，这个把重复的行全都去除了，我是2行重复了，只要保留一行

rwx_hc

sort +1 -2 urfile|awk '{a[$2]++};a[$2]==1'

ly5066113

这个意思？
awk '!a[$2]++' urfile