【特别感谢jason680神】

songyc_2015

回复 3# Windows19

1. awk 'ARGIND==1{a[$0]=1}ARGIND!=1{if(a[$0]!=1)print > FILENAME".tmp"}' ad.txt *.txt
   
2. ls -1F *.tmp | awk -F\. '{s=gensub(/\.tmp$/,"",1);printf("mv -f %s %s\n",$0,s)}' | sh

复制代码

这是一个文件夹里文件的处理，如果是多个文件夹，在外面写一个循环，试试看

songyc_2015

回复 5# Windows19
   

songyc_2015

1. $cat ad.txt
   
2. aaa
   
3. bbb
   
4. ccc
   
5. 
   
6. $cat a.txt
   
7. aaa
   
8. ddd
   
9. ddd
   
10. ddd
    
11. 
    
12. $cat b.txt
    
13. eee
    
14. bbb
    
15. eee
    
16. eee
    
17. eee
    
18. 
    
19. $cat c.txt
    
20. fff
    
21. fff
    
22. aaa
    
23. ccc
    
24. 
    
25. awk 'ARGIND==1{a[$0]=1}ARGIND!=1{if(a[$0]!=1)print > FILENAME".tmp"}' ad.txt *.txt
    
26. ls -1F *.tmp | awk -F\. '{s=gensub(/\.tmp$/,"",1);printf("mv -f %s %s\n",$0,s)}' | sh

复制代码

这是我测试数据，第一条命令是去重保存到xxx.tmp文件，第二条命令是将xxx.tmp替换回xxx文件。
我这里测试没有问题，估计你是重复执行了上面两条命令了。。。。

songyc_2015

如果是直接替换文件用2楼大神的sed方法