awk问题请教：2个文件的比较

nxzwt

有2个文件a和b
a的内容如下，有100多万行
1.1.1.10     20
1.1.1.34     25
2.2.2.100   30
3.3.3.20     40
b的内容如下，有1万多行
1.1.1.0    1.1.1.31     财务一部
1.1.1.32   1.1.1.63    财务二部
2.2.2.0    2.2.2.127   技术部
3.3.3.0    3.3.3.63     人事部

要求从a里面读出数据，和b比较后输出成
1.1.1.10    20    财务一部
1.1.1.34    25    财务二部
2.2.2.100   30   技术部
3.3.3.20    40    人事部

这个用awk该怎么做？请高手指点，谢谢！！

seesea2517

回复 15# jils2013


    有点类似，还是区别很大呢。因为lz说a文件很大，所以我没敢把a文件全部读进内存，而是把b文件读进内存做检索。

yestreenstars

回复 16# Shell_HAT


    可是我看出楼主的意思了，不然他就没必要写两个IP地址了，直接写个网络地址就好了~

seesea2517

回复 16# Shell_HAT


    原来是这样，一个小小的帖子居然也有项目的影子，lz 是做产品或是策划的吧，哈哈。

jils2013

回复 16# Shell_HAT
需求变更。。。

   

Shell_HAT

回复 13# seesea2517


    我写代码的时候楼主顶楼数据不是这个样子滴，现在的样子是后来改的

jils2013

和楼上的部分处理逻辑类似

1. [root@localhost ~]# cat a
   
2. 1.1.1.10     20
   
3. 1.1.1.34     25
   
4. 2.2.2.100   30
   
5. 3.3.3.20     40
   
6. [root@localhost ~]# cat b
   
7. 1.1.1.0    1.1.1.31     C1
   
8. 1.1.1.32   1.1.1.63    C2
   
9. 2.2.2.0    2.2.2.127   T
   
10. 3.3.3.0    3.3.3.63     R
    
11. [root@localhost ~]# awk 'function gi(str)
    
12. >       {split(str,sa,".");i=sa[1]*255^3+sa[2]*255^2+sa[3]*255+sa[4];return i}
    
13. >      BEGIN\
    
14. >       {while(getline <"a"){i=gi($1);a[i]=$2;c[i]=$1;}}
    
15. >       {b=gi($1);e=gi($2);for(dep=b;dep<=e;dep++){if(dep in a)print c[dep],a[dep],$3}}' b
    
16. 1.1.1.10 20 C1
    
17. 1.1.1.34 25 C2
    
18. 2.2.2.100 30 T
    
19. 3.3.3.20 40 R
    
20. [root@localhost ~]#

复制代码

seesea2517

我这个是在 cygwin 下测试通过的。效率可能不高，如果 lz 有兴趣，可以做如下改进：将数据存放方式改成平衡树，这样查找起来就快多了；或者将查找改为二分查找，也能将O(n)的复杂度降到O(log(n))。

1. [seesea@UC ~] # bash --version
   
2. GNU bash, version 2.05b.0(1)-release (i686-pc-cygwin)
   
3. Copyright (C) 2002 Free Software Foundation, Inc.
   
4. 
   
5. [seesea@UC ~] # awk -f cc.awk b a
   
6. 1.1.1.10     20 财务一部
   
7. 1.1.1.34     25 财务二部
   
8. 2.2.2.100   30 技术部
   
9. 3.3.3.20     40 人事部
   
10. 
    
11. [seesea@UC ~] # cat a
    
12. 1.1.1.10     20
    
13. 1.1.1.34     25
    
14. 2.2.2.100   30
    
15. 3.3.3.20     40
    
16. [seesea@UC ~] # cat b
    
17. 1.1.1.0    1.1.1.31     财务一部
    
18. 1.1.1.32   1.1.1.63    财务二部
    
19. 2.2.2.0    2.2.2.127   技术部
    
20. 3.3.3.0    3.3.3.63     人事部
    
21. [seesea@UC ~] # cat cc.awk
    
22. FNR==NR {
    
23.     add_dept_info($1, $2, $3)
    
24. }
    
25. 
    
26. FNR == 1 && NR != 1 {
    
27.     sort_dept_info()
    
28. }
    
29. 
    
30. FNR < NR {
    
31.     print $0 OFS find_dept($1)
    
32. }
    
33. 
    
34. function atoinet(ip, __ARGEND__, ret)
    
35. {
    
36.     n = split(ip, ar, ".")
    
37.     for (i = 1; i <= n; ++i)
    
38.     {
    
39.         ret = ret*256 + ar[i]
    
40.     }
    
41. 
    
42.     return ret
    
43. }
    
44. 
    
45. function add_dept_info(ip_start, ip_end, dept_name)
    
46. {
    
47.     dept_info[atoinet(ip_start)]   = dept_name
    
48.     dept_info[atoinet(ip_end) - 1] = dept_name
    
49. }
    
50. 
    
51. function sort_dept_info()
    
52. {
    
53.     count = asorti(dept_info, sorted_index)
    
54. }
    
55. 
    
56. function find_dept(ip)
    
57. {
    
58.     inet = atoinet(ip)
    
59.     for (i = count; i >= 1; --i)
    
60.     {
    
61.         if (inet >= sorted_index[i])
    
62.             return dept_info[sorted_index[i]]
    
63.     }
    
64. 
    
65.     return "UNDEFINED"
    
66. }
    

复制代码

seesea2517

回复 3# Shell_HAT

你的结果和lz的输出有点差异，看来偷懒是不行的，哈：
1.1.1.10     20 财务二部
1.1.1.34     25 财务二部
2.2.2.100   30 技术部
3.3.3.20     40 人事部
   

nxzwt

可能是我的版本有问题，我用这个脚本居然啥也出不来。我用的是cygwin。

仍然非常感谢！