求一个数据筛选的shell的优化方法

x-dongzi

求一个数据筛选shell的优化。大家好。有两个文本文件，A里面有几十万条记录，B里面有两万多条数据，其中A包含了B。我需要在A中把B给删掉，只要A中有，而不包括在B中的部分。目前我想到的是for i in ‘cat B’;do sed '/'$i'/d' A >A.tmp;mv -f A.tmp A;done这个能用，可惜的是效率不高，希望能有大侠给指点一下。另，我是手机发的帖子，打不出包含cat的那个反单引号。

ghp268

回复 1# x-dongzi


    [code]grep -vf B A[code]
这个可以么

waker

回复 2# ghp268


    加个-F更牢靠

Shell_HAT

1. 
   
2. awk 'NR==FNR{a[$1]++}NR>FNR&&!a[$1]++' B A
   

复制代码

x-dongzi

我靠，原来grep有这个参数呀，太土了，竟然这都不知道。
谢谢大家。
另外这个只看懂了一半。NR==FNR是把文件B赋值给一个数组a吧，那，当NR>FNR时，后面的东西没看懂，做什么操作呀？继续拜谢。
awk 'NR==FNR{a[$1]++}NR>FNR&&!a[$1]++' B A

李寻欢92

回复 2# ghp268

不行的。
假设
B
abcd
A
abcd
abcde
abcdef
输出是空，不合要求吧

x-dongzi

回复 6# 李寻欢92


    确实是有这种情况哦，
不过我这边不存在这种隐患，所有数据的长度都是一致的。也就是说B中是5位的数据长度的话，A中也都是5位的长，所以不用精确匹配。谢谢楼上的回复。

Shell_HAT

回复 6# 李寻欢92

1. 
   
2. grep -vwFf B A
   

复制代码

Shell_HAT

回复 5# x-dongzi


删除重复行的常用方法之一，参考：
http://bbs.chinaunix.net/viewthread.php?tid=1672726#pid11904888