批量删除行的方法

Auroracxy

#cat file_1
57041039
57042054
...

#cat file_2
57041039 0 64785 4082546
57042054 0 64785 1359424
57042148 0 64785 2280460
57042392 0 64785 238429
57042060 0 64785 2408476
57042143 0 64785 3307519
57042387 0 64785 232678
...



file_1文件中有几万行，file_2文件有几百万行，并且file_2的第一列数据肯定包含file_1，最终要得到一个文件
#cat file_3
57041039 0 64785 4082546
57042054 0 64785 1359424
...


也就是在file_2中只保留能匹配到file_1文件中的行，如何能加速匹配删除的性能？ 我用普通循环非常慢，一秒才10多次删除

moperyblue

1. awk 'NR==FNR{a[$1]=1;next}a[$1]' file_1 file_2

复制代码

zy86416779

1. [root@CentOS_6 tmp]# time egrep -f 1.txt 2.txt
   
2. 57041039 0 64785 4082546
   
3. 57042054 0 64785 1359424

复制代码

fh21_xuejinlian

awk 'NR==FNR{a[$1]=$1}NR!=FNR&&a[$1]{print $0}' file1 file2