如何使用sed删除文件中无重复的内容

where27

sed -rn 'N;/(.*)\n\1$/{h;:a;D};x;/(.*)\n\1$/{x;h;ba};x;h;D' file
又臭又长。。。

alan9101

sort file | uniq -D

mpstat

回复  waily


    请不要拿我跟waker shell_hat 相提并论,犹如一只乌鸦和两只凤凰站到了一起.
zooyo 发表于 2011-12-05 17:53

    你可以乌鸡变凤凰

mpstat

..lz的需求,如果不是连续重复的话,sed几乎没办法做

连续的话还不算麻烦

ly5066113

回复 11# where27


可以简化：

1. sed -rn '$!N;/(.*)\n\1$/{P;ba};x;//P;x;:a;h;D' urfile

复制代码

df110341243

Shell_HAT 发表于 2011-12-05 16:27

想请问下，我分析了您的解答，然后请您帮忙看下是否正确，尤其是最后两个urfile遍历的问题，谢谢了
遍历第一个urfile，NR==FNR是匹配当前行，如果数组a[aaa]存在，就使得a[aaa]从0开始加1，然后下一行，存在则再加1，接着对a[bbb],a[ccc]依次做该操作
遍历第二个urfile，a[$0]匹配当前行对应数组a的值，如果>1（本例中为2），则打印（对应的print动作可以被隐藏）

davidbeckham921

搜搜tim和黑哥的贴子同样令人震撼！呵呵水深的很

waily

回复 4# zooyo


    这个我也不太明白<(echo)

waily

回复 12# zooyo


    不好意思 是shell_nat，你们3都牛，咱也希望有朝一日能不停的回答大家的问题