如何多文件比对去重？

nssn

我这里有10几个文本文件，每个文件都超过千万行，文件名为：
基础词典.txt    辅助词典01.txt   辅助词典02.txt   辅助词典03.txt   ...................   辅助词典15.txt
让辅助词典和基础词典比对，当发现辅助词典中有和基础词典中相同的行时，删除辅助词典文件里的重复行
当这些文件不在同一目录时，如何操作？
能不能把每个辅助词典中删除的行分别提取出来，生成对应的文件，这样方便查看每个辅助文件中都有什么内容和基础词典重复
感谢！！

moperyblue

有样例数据吗?  基础词典.txt 及 辅助词典0x.txt的数据是怎样?
希望得到什么效果?

nssn

词典数据

information technology, IT@信息技术
information industry*信息产业
computing technology%计算技术
computer science（6计算机科学
computer technology#计算机技术
computer engineering|计算机工程


需要的结果是，基础词典不改动，用辅助词典和基础词典比对，发现有和基础词典相同的行时，删除辅助词典中的那一行，感谢

moperyblue

回复 3# nssn

more 00.txt #基础词典

1. information technology, IT@信息技术
   
2. information industry*信息产业
   
3. computing technology%计算技术
   
4. computer science（6计算机科学
   
5. computer technology#计算机技术
   
6. computer engineering|计算机工程

复制代码

more 01.txt #辅助词典

1. aa
   
2. information technology, IT@信息技术
   
3. information industry*信息产业
   
4. computing technology%计算技术
   
5. computer science（6计算机科学
   
6. computer technology#计算机技术
   
7. computer engineering|计算机工程
   
8. bb

复制代码

1. grep -vFf 00.txt 01.txt > 01.txt.newFile
   
2. grep -Ff 00.txt 01.txt > 01.txt.same #与基础词典重复

复制代码

more 01.txt.*

1. ::::::::::::::
   
2. 01.txt.same
   
3. ::::::::::::::
   
4. information technology, IT@信息技术
   
5. information industry*信息产业
   
6. computing technology%计算技术
   
7. computer science（6计算机科学
   
8. computer technology#计算机技术
   
9. computer engineering|计算机工程
   
10. ::::::::::::::
    
11. 01.txt.newFile
    
12. ::::::::::::::
    
13. aa
    
14. bb

复制代码

jcdiy0601

cat 1
information technology, IT@信息技术
information industry*信息产业
computing technology%计算技术
computer science（6计算机科学
computer technology#计算机技术
computer engineering|计算机工程
computer engineering|计算4

cat 2
information technology, IT@信息技术
information industry*信息产业
computing technology%计算技术
computer science（6计算机科学
computer technology#计算机技术
computer engineering|计算机工程
computer engineering|计算机1
computer engineering|计算机2
computer engineering|计算机3

grep -Ff 1 2
information technology, IT@信息技术
information industry*信息产业
computing technology%计算技术
computer science（6计算机科学
computer technology#计算机技术
computer engineering|计算机工程

grep -vFf 1 2
computer engineering|计算机1
computer engineering|计算机2
computer engineering|计算机3

grep -vFf 2 1
computer engineering|计算4

nssn

感谢，我去试试