找出b文件中有而a文件中没有

一轮秋影

a和b文件的内容大致如下且经过!a[$0]++去重：
1031878416
2011187736
1020032987
1003585075
2018336682
2022934236

进过如下处理后为什么c+a总条数不等于b文件的总条数？
awk 'NR==FNR{array[$0]++}NR>FNR{if(!(array[$0]))print}' a b > c

# wc -l a
16489 a
# wc -l b
1405763 b
# wc -l c
1389522 c

li0924

1. cat b a a | sort | uniq -u > c
   
2. 
   
3. awk 'NR==FNR{a[$0]=1;next}{if(! a[$0])print}' a b

复制代码

Herowinter

感觉这是个数学集合论的问题
集合a  3个元素{a,b,c}
集合b  3个元素{b,c,d}
集合c(b中有a中没有) 1个元素{d}
集合a+c 4个元素{a,b,c,d}

a+c元素个数4不等于b中元素个数3。

yestreenstars

1. [root@localhost ~]# head a b
   
2. ==> a <==
   
3. 1
   
4. 2
   
5. 3
   
6. 
   
7. ==> b <==
   
8. 2
   
9. 3
   
10. 4
    
11. [root@localhost ~]# awk 'NR==FNR{a[$0];next}!($0 in a)' a b > c
    
12. [root@localhost ~]# wc -l a b c
    
13. 3 a
    
14. 3 b
    
15. 1 c
    
16. 7 总用量
    
17. [root@localhost ~]#

复制代码

q1208c

回复 1# 一轮秋影
如果只是要找出b中有a中没有的, awk并不合适, 原因是内存占用. 可以试一下 sort和 diff

sort a > a.sort
sort b > b.sort

diff b.sort a.sort > c

由于 diff 只会输出不同的部分, 只要根本你处需要把 '>' 或是 '<' 的行打出来, 就是你想要的了.

   

Shell_HAT

回复 5# q1208c

1. grep -vxFf a b

复制代码

1. grep -vxFf b a

复制代码

q1208c

回复 6# Shell_HAT


这样不行的, 我试过了.

如果两个文件很大的话, 会非常的慢.

在大文件的时候, diff 之后再处理, 是效率最好的.

Shell_HAT

回复 7# q1208c


你测试的文件是多大的？
sort + diff 和 grep 相比效率高多少？

yestreenstars

回复 5# q1208c

1. [root@localhost ~]# cat a
   
2. 1
   
3. 2
   
4. 3
   
5. [root@localhost ~]# cat b
   
6. 2
   
7. 3
   
8. 4
   
9. [root@localhost ~]# sort a > a.sort
   
10. [root@localhost ~]# sort b > b.sort
    
11. [root@localhost ~]# diff a.sort b.sort > c
    
12. [root@localhost ~]# cat c
    
13. 1d0
    
14. < 1
    
15. 3a3
    
16. > 4
    
17. [root@localhost ~]#

复制代码

你确定这结果是楼主想要的吗？

   

q1208c

回复 8# Shell_HAT


   
几百M 吧 .

diff 的效率当然高了. 原因很简单, diff不用遍历. 只要不同, 就可以 next 了. 而 grep不行. 必须用每个 regex 去遍历文件. 就算正则效率再高, 也没办法解决这么大量的重复操作呀.