两个文件，从文件a中删除与文件b中重复的内容

work4seo

是这样，有两个文件，分别为a、b
a里面内容为：

1. aaa
   
2. bbb
   
3. ccc
   
4. ddd
   
5. eee
   
6. fff

复制代码

b里面内容为：

1. asd
   
2. gfs
   
3. aaa
   
4. bsdsff
   
5. s
   
6. ffghg
   
7. 222
   
8. ccc
   
9. dfghsdfgh
   
10. eee

复制代码

现在需要从a文件里面，删除掉与b文件重复的行。
最后得到的文件a应该是：

1. bbb
   
2. ddd
   
3. fff

复制代码

试过diff、awk {print $0} a b|sort|uniq
看起来很简单的题目，但是因为文件b的内容一天内会产生多次，在定时任务中用uniq会对结果会产生影响，因为uniq命令会把文件b里面出现而文件a中没有出现的内容追加到文件a里面去。
而我只是需要把在b出现过的内容从a里面删掉。

sunzhiguolu

1. perl -nle 'if(@ARGV){$h{$_}++;next}print if(!exists($h{$_}))' b a

复制代码

moperyblue

1. grep -vFf b a
   
2. awk 'NR==FNR{a[$1]=1;next}!a[$1]' b a
   
3. sed -r '1{x;s/.*/cat b/e;x};G;/^(\S+\b).*\n\1\b/!P;d' a

复制代码

work4seo

sunzhiguolu 发表于 2016-09-13 13:44

谢谢大牛帮忙~~~这个命令没有接触过，能不能请大牛帮忙解释一下=。=
或者给个参考链接让我学习一下，谢谢大牛。。。

还有个问题，就是a和b文件，由于b文件是站内日志，b文件大概有60到100万行，这个命令会不会像grep一样无法处理？

再次感谢大牛回答问题

work4seo

moperyblue 发表于 2016-09-13 13:49

谢谢大牛帮忙~~~
grep在文件比较大的时候貌似会卡住，后面两个命令我试着执行看看。
十分感谢。
刚刚学习如何用Linux处理文件，正是因为有你们这些前辈的帮忙，才能让我在学习中得到进步和启发。
再次感谢回复~~

sunzhiguolu

回复 4# work4seo
100w 行的文件没多大 (应该超不过 30mb), 放心处理好了.

hz_oracle

grep -vf b a

jcdiy0601

1. grep -vFf b a
   
2. bbb
   
3. ddd
   
4. fff
   

复制代码