A/B两个文件，如何删除B中包含A的部分

mswsg

保存文件为当前目录下的3.txt
python test.py 1.txt 2.txt 3.txt

1. #!/usr/bin/python
   
2. 
   
3. 
   
4. import sys
   
5. import os
   
6. f1 = os.path.abspath(sys.argv[1])
   
7. f2 = os.path.abspath(sys.argv[2])
   
8. f3 = sys.argv[3]
   
9. 
   
10. file1 = set(line.strip() for line in open(f1))
    
11. file2 = set(line.strip() for line in open(f2))
    
12. file3 = open(os.path.join(os.getcwd(),f3),'a+')
    
13. difference = set(file2).difference(file1)
    
14. for diff in difference:
    
15.     print >>file3,diff
    
16. file3.close()
    

复制代码

lgfang

回复 10# reyleon


你这个用 grep 确实好，简单、易理解。

@seanking1987 说的大波awk高手没来，我把多年前在本版抄下来的awk代码贴给大家看看，算是另一种思路：

1. awk '(!a[$1]++) && (NR>FNR)' A.txt B.txt

复制代码

reyleon

回复 12# lgfang


    你这种是有问题的, 会把 B 文件中有重复的行也去重只保留最先出现的一行的了

1. awk 'NR==FNR{a[$1];next}!($1 in a)' A B

复制代码

lgfang

回复 13# reyleon

我贴的确实有问题。另外，你这个“next”好像是多余的？


   

reyleon

回复 14# lgfang


    从性能上来说, 不多余呀

CUTianrui007

Shell果然强大，要是我，先想到用Python来做。