awk列出重复行

nxlinux

本人有个文件内容如下：
1    a     4\0\2\aaa.mpg
2    b     5\2\3\bbb.mpg
...
2    b     5\2\3\bbb.mpg
100  a     4\0\2\aaa.mpg


重复的记可能是整行重复，也有可能是 第二列和最后一列重复（主要以最后一列为主）

列出重复的行，用sort -k1 file|uniq -d 可以实现
但是列出  最后一行重复的如何用awk实现？

nxlinux

自己写出来一个
sort -k3|awk '{a=$NF;getline;if($NF==a){print}}'

sunbw001

你这是啥意思？

nxlinux

意思就是一个文件里面有上万条记录
有些记录是完全相同的，有些记录是最后一列相同，我想找到这些完全相同和最后一列相同的记录
不知道你明白了没有？

nxlinux

sort -k3|awk '{a=$NF;getline;if($NF==a){print}}'

这种写法有遗漏！！！

sunbw001

输出什么呢？

Shell_HAT

是这个意思吗？

1. 
   
2. awk '!a[$3]++' urfile
   

复制代码

ghp268

1. awk '{a[$NF]+=1}END{for(i in a){if(a[i]>1)print i}}' myfile

复制代码

[ 本帖最后由 ghp268 于 2010-1-6 10:29 编辑 ]

cu_eagle

你把最后一列重复的打出来就可以了。。。

Shell_HAT

或者是这个意思？

1. 
   
2. awk '{a[$3]++;b[$3]=$0}END{for (i in a) if (a[i] > 1) print b[i]}' urfile
   

复制代码