如何删除文件中的重复行但是并不对文件进行排序

刘彩霞

我用sort -u之后重复行是删除了，但是对文本重新进行了排序，我不想重新排序。

yestreenstars

1. awk '!a[$0]++'

复制代码

这个冬天不冷

1. [root@localhost ~]# awk '!a[$0]++' file1
   
2. 8
   
3. 9
   
4. 7
   
5. 2
   
6. 1
   
7. 3
   
8. 4
   
9. 10
   
10. [root@localhost ~]# cat file1
    
11. 8
    
12. 9
    
13. 7
    
14. 2
    
15. 2
    
16. 1
    
17. 3
    
18. 4
    
19. 9
    
20. 10
    
21. 4
    
22. [root@localhost ~]#
    

复制代码

kooleon

cat  file.txt

1. 1
   
2. 1
   
3. 76
   
4. 2
   
5. 6
   
6. 4
   
7. 3
   
8. 4
   
9. 5
   
10. 1
    
11. 8
    
12. 67
    
13. 2
    
14. 4
    
15. 56
    
16. 76
    
17. 23
    
18. 4
    
19. 5

复制代码

1. $ awk '{a[$0]++;if(a[$0] == 1) print $0}' file.txt

复制代码

1. 1
   
2. 76
   
3. 2
   
4. 6
   
5. 4
   
6. 3
   
7. 5
   
8. 8
   
9. 67
   
10. 56
    
11. 23

复制代码

q1208c

如果文件很大. 还真是没有太好的办法. 排序可能是比较合适的算法.


顺便问一下, 这样的文件,顺序有这么重要么?

yestreenstars

楼上总是考虑很多

刘彩霞

回复 5# q1208c
我的文件有1041行，文件的顺序对我真的很重要，我务必保证不能弄乱文件的顺序，顺序一乱我后面的测试就没意义了。

   

Herowinter

回复 7# 刘彩霞

这个数量级2楼的代码完美解决了吧.

q1208c

回复 6# yestreenstars
蝴蝶效应, 应该不是我发明的词.


   

q1208c

回复 7# 刘彩霞

这个数量级的文件, 随便搞搞都可以的吧.

2楼的办法应该可以解决了.