29w数据中只要重复的数据

lkk2003rty

1. awk -F"|" '{if(a[$3]) {if($3 in b){print b[$3];delete b[$3]}print} else {a[$3]=1;b[$3]=$0}}' file

复制代码

vitas333_cu

首先一点 ，   你的文件 需要重复的内容， 是在 行的末尾吗？

其次 重复的内容， 会不会 不连续， 比如 第一行出现了a，  然后第三行也出现了a，  是不是要把 这重复的合并？？  


我现在根据你给的数据 进行了 如下操作代码。  

因你给的数据 是连续的重复行， 而且重复的数据都在行的末尾。

1. awk -F '|' '{print $NF}' file|uniq -u > t3 && egrep -vf t3 file

复制代码

yx07004212

如果你第二字段已经排序，第一字段数字位数固定，单独用uniq即可实现

1. 
   
2. uniq -s 9 -D file
   

复制代码

blackold

回复 4# gnubuntu


    如果已按第二字段排序，怎么会还有“间断重复”？

where27

回复 7# gnubuntu


    不知道你的文本里有什么特殊字符，先dos2unix file一下，管道越少越好吧，我觉得5楼帅哥的方法不错

1. uniq -s 9 -D file

复制代码