请教如去除多段文本里的重复行？

lbbei

请教如去除多行文本里的重复行？

有一多段文件，如何判断每一段里是否存在重复行？如果有，把重复行删除，该怎么实现？

* 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
2001 07 21 07 56 40.300   BAI  041.85900
2001 07 21 07 57 19.700   AKE  041.14500
2001 07 21 07 55 28.300   XIN   043.56400
2001 07 21 07 57 19.700   AKE  041.14500
2001 07 21 07 56 01.600   BAI  041.85900
* 2001 09 13 20 00 29.000  41.36670   75.51670  15.000
2001 09 13 20 01 22.000   WUQ   039.74900
2001 09 13 20 01 24.700   ATU  039.80400
2001 09 13 20 01 42.500   AHE  040.93500
* 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
2001 07 21 07 56 40.300   BAI  041.85900
2001 07 21 07 57 19.700   AKE  041.14500
2001 07 21 07 55 28.300   XIN   043.56400
2001 07 21 07 57 19.700   AKE  041.14500
比如第一段和第三段里有两个 BAI和AKE, 而且它后面跟的数值相同，如何删后面多余的那一行？要用到数组吗？麻烦高手帮忙指点

fangtong2008

是要去重吗？

fangtong2008

awk '{++a[$0]}END{for (i in a)print i}' file

jason680

awk '!a[$0]++'

lbbei

fangtong2008 发表于 2012-03-08 10:57
awk '{++a[$0]}END{for (i in a)print i}' file

不对啊，是以段为单位的，去掉每一段里相同的，不是说把所有重复都去掉。生成的文件应该是：

* 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
2001 07 21 07 56 40.300   BAI  041.85900
2001 07 21 07 57 19.700   AKE  041.14500
2001 07 21 07 55 28.300   XIN   043.56400
* 2001 09 13 20 00 29.000  41.36670   75.51670  15.000
2001 09 13 20 01 22.000   WUQ   039.74900
2001 09 13 20 01 24.700   ATU  039.80400
2001 09 13 20 01 42.500   AHE  040.93500
* 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
2001 07 21 07 56 40.300   BAI  041.85900
2001 07 21 07 57 19.700   AKE  041.14500
2001 07 21 07 55 28.300   XIN   043.56400

yangkyo821

1. awk '!a[$0]++;/^\*/{delete a}' file

复制代码

1. * 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
   
2. 2001 07 21 07 56 40.300   BAI  041.85900
   
3. 2001 07 21 07 57 19.700   AKE  041.14500
   
4. 2001 07 21 07 55 28.300   XIN   043.56400
   
5. * 2001 09 13 20 00 29.000  41.36670   75.51670  15.000
   
6. 2001 09 13 20 01 22.000   WUQ   039.74900
   
7. 2001 09 13 20 01 24.700   ATU  039.80400
   
8. 2001 09 13 20 01 42.500   AHE  040.93500
   
9. * 2001 07 21 07 55 13.300  43.81670   84.23330  16.000  
   
10. 2001 07 21 07 56 40.300   BAI  041.85900
    
11. 2001 07 21 07 57 19.700   AKE  041.14500
    
12. 2001 07 21 07 55 28.300   XIN   043.56400

复制代码

rdcwayx

1. awk '!a[$0]++' infile

复制代码

如果只判断倒数第一和第二列的话，可以改成：

1. awk '!a[$(NF-1) FS $NF]++' infile

复制代码

jason680

回复 5# lbbei

段 本身重复 呢? (第一,三段重复...)
   

lbbei

jason680 发表于 2012-03-08 11:25
回复 5# lbbei

段 本身重复 呢? (第一,三段重复...)

段本身不重复的，段本身由每段第一行控制

lbbei

yangkyo821 发表于 2012-03-08 11:18

有点问题，不管把第一段的怎么换位置结果里都有2个 BAI，其它段都没事， 这是什么问题呢？第一段出现两遍的话也是，复制的那一遍也有两个BAI。纳闷的是我把BAI行故意多复制几遍，结果里就是有两个。。。在其它段里重复的就没问题，能删掉