找出b文件中有而a文件中没有

q1208c

回复 9# yestreenstars

如果我理解的没错的话, 你需要 grep '<' 或 '>' , 看实际的需求. 然后, 再去掉前面的 '>' 或 '<'.
   

yestreenstars

回复 11# q1208c
呵呵，那你就应该把grep的命令也提供给楼主，再说说效率问题吧，你加上这个grep命令后还觉得效率比单用grep高吗？

   

关阴月飞

回复 10# q1208c


    表示diff之前还要sort   diff之后还要grep   这个才是硬伤呀

Shell_HAT

回复 10# q1208c


    grep的-F选项就是disable regex的

q1208c

回复 14# Shell_HAT

跟 regex 无关的.

举个例子.

1. 
   
2. filea
   
3. --------------
   
4. adfafad
   
5. fa
   
6. dfadf
   
7. asdfa
   
8. df
   
9. adf
   
10. adf
    
11. asd
    
12. fads
    
13. fdas
    
14. fd
    
15. asf
    
16. dasf
    
17. das
    
18. fasd
    
19. fd
    
20. asfd
    
21. asf
    
22. asaa
    
23. dsf
    
24. ad
    
25. fas
    
26. dfd
    
27. asf
    
28. fasd
    
29. fd
    
30. asf
    
31. dasf
    
32. das
    
33. fdsa
    
34. ----------
    
35. 
    
36. fileb
    
37. ----------
    
38. ad
    
39. f
    
40. adfa
    
41. dfwe
    
42. adfa
    
43. sd
    
44. --------
    

复制代码

以我对 grep的理解, 它应该是用b中每一行做为一个表达式, 去a中遍历.  那么, a应该被遍历6次.

如果用diff, 一次就够了. 虽然前面有 sort的过程, 但sort的算法已经很高效了, 而且, 文件越大, 效率越明显.
当然, 在现在这个例中的文件里, 完全看不出效率问题, 但随着文件的行数越来越多, 效率问题就越来越大.


当然了, 如果grep是把整个b文件当做一个大的表达式, 只遍历一次a, 那效率就不是问题了. 只是, 不知道当b大到内存都放不下时, grep如何处理.

q1208c

回复 13# 关阴月飞

diff 之后的 grep 只有一个 表达式, '<' 或是 '>' . 总好过 原来 b文件中的一堆吧.

另外, 这个方法我在一个有130行的b文件和30w行的a文件中试过了.

开始也是用 grep, 10分钟没有结果. 后来, 才sort了之后 diff的. 而且, 我当时还是先执行了 awk 取了a中的一个字段. 几秒钟就有结果了.
   

Shell_HAT

回复 16# q1208c


我用一个100万行的文件和一个100行的文件做的测试：

test1.sh 内容如下：

1. #!/bin/bash
   
2. for((i=1;i<=100;i++)); do
   
3.     tr -cd "[:alnum:]" < /dev/urandom | head -c ${1-10}
   
4.     echo
   
5. done

复制代码

生成一个100行的临时文件：

1. ./test1.sh > a.txt

复制代码

test2.sh 内容如下：

1. #!/bin/bash
   
2. for((i=1;i<=10000;i++)); do
   
3.     cat a.txt
   
4. done

复制代码

生成一个100万行的文件：

1. ./test2.sh > b.txt

复制代码

生成一个100行的文件：

1. head -90 b.txt > c.txt
   
2. head -10 /etc/passwd >> c.txt

复制代码

[root]# time grep -vxFf b.txt c.txt root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin news:x:9:13:news:/etc/news: real    0m0.139s user    0m0.126s sys     0m0.009s

[root]# time diff b.txt c.txt | grep '^>' | sed 's/^> //' root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin news:x:9:13:news:/etc/news: real    0m0.932s user    0m0.691s sys     0m0.033s

关阴月飞

回复 16# q1208c


    grep 10分钟没结果， sort 后diff 几秒钟出来了？ 表示不可思议，于是测试了一下，

sort+diff  和 grep 的方法各连续运行三次：

1. [root@pf]# du -h 1.txt 2.txt
   
2. 37M     1.txt
   
3. 37M     2.txt
   
4. [root@pf]# wc -l 1.txt 2.txt
   
5. 4950001 1.txt
   
6. 4950001 2.txt
   
7. 9900002 总用量
   
8. [root@pf]# head 1.txt 2.txt
   
9. ==> 1.txt <==
   
10. 3207273
    
11. 2785529
    
12. 4967878
    
13. 3343435
    
14. 1677145
    
15. 2165230
    
16. 2680247
    
17. 3019757
    
18. 4536182
    
19. 3434759
    
20. 
    
21. ==> 2.txt <==
    
22. 26993
    
23. 4123253
    
24. 1573704
    
25. 3903709
    
26. 4632523
    
27. 1516950
    
28. 795944
    
29. 2690009
    
30. 3428094
    
31. 1619066
    
32. [root@pf]# time { sort 1.txt >1.sort; sort 2.txt >2.sort; diff 1.sort 2.sort |grep -E '<|>' >sort_file; }
    
33. 
    
34. real    0m59.639s
    
35. user    0m56.452s
    
36. sys     0m2.931s
    
37. [root@pf]# time { sort 1.txt >1.sort; sort 2.txt >2.sort; diff 1.sort 2.sort |grep -E '<|>' >sort_file; }
    
38. 
    
39. real    0m59.963s
    
40. user    0m55.910s
    
41. sys     0m3.412s
    
42. [root@pf]# time { sort 1.txt >1.sort; sort 2.txt >2.sort; diff 1.sort 2.sort |grep -E '<|>' >sort_file; }
    
43. 
    
44. real    0m59.646s
    
45. user    0m55.578s
    
46. sys     0m3.577s
    
47. [root@pf]# time { grep -vxFf 1.txt 2.txt >grep_file ;grep -vxFf 2.txt 1.txt >>grep_file; }               
    
48. 
    
49. real    0m51.941s
    
50. user    0m51.144s
    
51. sys     0m0.671s
    
52. [root@pf]# time { grep -vxFf 1.txt 2.txt >grep_file ;grep -vxFf 2.txt 1.txt >>grep_file; }
    
53. 
    
54. real    0m51.890s
    
55. user    0m51.174s
    
56. sys     0m0.707s
    
57. [root@pf]# time { grep -vxFf 1.txt 2.txt >grep_file ;grep -vxFf 2.txt 1.txt >>grep_file; }
    
58. 
    
59. real    0m51.941s
    
60. user    0m51.227s
    
61. sys     0m0.706s
    
62. [root@pf]# wc -l sort_file grep_file
    
63.   89172 sort_file
    
64.   89172 grep_file
    
65. 178344 总用量
    
66. [root@pf]#

复制代码

q1208c

回复 18# 关阴月飞

1. 
   
2. [user@host ~/temp/test.v06p]
   
3. $ wc -l *.txt
   
4. 2346447 1.txt
   
5.   700000 2.txt
   
6. 3046447 total
   
7. 
   
8. [user@host ~/temp/test.v06p]
   
9. $ time { sort 1.txt >1.sort; sort 2.txt >2.sort; diff 1.sort 2.sort |grep -E '<|>' >sort_file; }
   
10. 
    
11. real        0m11.898s
    
12. user        0m9.020s
    
13. sys        0m0.615s
    
14. 
    
15. [user@host ~/temp/test.v06p]
    
16. $  time { grep -vxFf 1.txt 2.txt >grep_file ;grep -vxFf 2.txt 1.txt >>grep_file; }
    
17. 
    
18. real        0m18.300s
    
19. user        0m13.692s
    
20. sys        0m0.869s
    

复制代码

关阴月飞

回复 19# q1208c


    正如测试结果所示，两种方法差距并不大......