sed awk 中如何删除重复行？

yy_galois

刚才一把 sed 失误，-i且最后多增加了一个p, 本来是想让它打印出来看看的，

导致了大量的行被重复写入文件。

如何改回来？

删除重复的行。

yy_galois

所有的重复行都有如下特征：

对于所有的匹配行，这行的被复制了一遍，并且追加在这行的下一行。

shaneqi

uniq

blackold

try:

1. sed -i '/pattern/{N;s/.*\n//}' urfile

复制代码

yy_galois

有个疑问.

因为文件中有的行原来就是相同的。

现在我只想删除因为 sed -i -e 's/xxxxx/xxxx/;p' data.txt 导致的重复行。

请问，uniq  data.txt会不会把原先的重复行给删除？（原先的重复行没有紧挨在一起）。

blackold

如果原来没有连续的重复行，错误的sed命令也没有”额外产生“连续的重复行，就可以用uniq(慎用)。

[ 本帖最后由 blackold 于 2009-3-31 12:02 编辑 ]

yy_galois

原帖由 blackold 于 2009-3-31 11:30 发表
try: sed -i '/pattern/{N;s/.*\n//}' urfile

这个不是很好使。

因为我的pattern是  /aa/,/bb/的类型。

比如
aa
mm
nn
xx
yy
bb
通过
sed -i -e 's/xx/x/;p'
后

成为了
aa
aa
mm
mm
nn
nn
xx
xx
yy
yy
bb
bb
的形状

blackold

恢复方法与你的错误sed命令有关。

如果原来没有连续的重复行，错误的sed命令也没有”额外产生“连续的重复行，就可以用uniq(慎用)。

[ 本帖最后由 blackold 于 2009-3-31 12:03 编辑 ]

shaneqi

应该是不会的
> cat 0
abc
efg
abc
ddd
ddd
fdfdf
> cat 0 | uniq
abc
efg
abc
ddd
fdfdf

yy_galois

非常感谢 shaneqi   和 黑格格。