如何快速比较大文件

liang573728

要找出file1 file2不相同的数据，comm没有这功能吧

walkerxk

walkerxk@www:~$ cat a
1
2
3
4
5
walkerxk@www:~$ cat b
1
2
3
5
6
walkerxk@www:~$ comm -3 a b
4
        6
walkerxk@www:~$

4Aiur

$ cat diff.1 a b ccc a b ddd abc bcd $ cat diff.2 bbb asdfasd ccc ddd asdf a b ccc a c aaa $ awk 'BEGIN{while ( getline < "diff.1" ) foo[$0]=$0}{if ($0 in foo ) print $0}' diff.2 a b ccc $ awk 'BEGIN{while ( getline < "diff.1" ) foo[$0]=$0}{if ($0 in foo ) ; else print $0}' diff.2 bbb asdfasd ccc ddd asdf a c aaa

springwind426

1. 
   
2. awk 'FILENAME=="f1"{a[$0]=1}FILENAME=="f2"{b[$0]=1}
   
3. END{print "lines in file f1";
   
4. for(s in a)if(s in b){}else{print s};
   
5. print "lines in file f2";
   
6. for(s in b)if(s in a){}else{print s}}' f1 f2
   

复制代码

没有测试数据，不知道速度怎么样。

galford433

file2有file1没有

1. awk 'NR==FNR{a[$0]++}NR>FNR{if(a[$0]==0) print}' file1 file2

复制代码

印象中awk处理大文件也要看内存大小。内存不够可能会遇到溢出。

liang573728

谢谢，速度也不错．

liang573728

已经解决．采用4Aiur的方法
谢谢大家