比较两个文件

-_-

A 文件  170万行  
B文件   50万行

两个文件每行格式都完全一样。

B文件中有一些行的内容和A文件重复了，怎么把B中重复的全部找出来？

大蚂蚁

nawk  'a[$0]++'   A   B

ivhb

方法1：
sort A > A.1
sort B > B.1
comm -12 A.1 B.1   

方法2：
awk '{
  if (NR == FNR)
    x[$0]++
  else if (x[$0] > 0)
    print
}' B A         

方法3：
fgrep -x -fB A      #这个可能会很慢  （-x的意思是整行完全匹配，你的系统可能不是这个参数，查看你的手册。aix，linux，hp-ux应该都是这个参数吧。之所以给出这个方法，是因为有可能以后你会在B文件行数少的情况，这时候，这个方法简单高效。）

方法4：（有个前提，文件B，A记录都没有重复）
cat B A | sort | uniq -d     #这个会输出重复部分。效率不会比awk版本的好
当然，你要是不怕麻烦，也可以先sort -u B，sort -u A，然后uniq -d。

如果你的机器没有awk，但是有perl，如果还有a2p的话，可以用a2p把awk转成perl程序。因此，就不给出相应的perl的程序。

[ 本帖最后由 ivhb 于 2007-8-20 02:14 编辑 ]

rwx_hc

方法2：
awk '{
  if (NR == FNR)
    x[$0]++
  else if (x[$0] > 0)
    print
}' B A

逻辑不严密,如果B文件中自身就有重复行不是也输出了,修改一下:

awk 'NR==FNR{x[$0]++};NR>FNR&&x[$0]' B A

ivhb

这个和else if逻辑有区别么？ 呵呵

waker

grep -Ff B A
?

ivhb

waker，这个不能实现整行匹配模式吧。需要有个类似的-x的参数 -F只是相当于fgrep

waker

两个文件每行格式都完全一样。有这个前题就应该差不多吧

ivhb

嗯。只能说差不多：）
如果格式就是一个字段呢？ ....

waker

没考虑