比较两个文件里的某个列

badcow

要比较两个文件的某个列的值大小，内容如下：
A.lst:
a,8
b,3
c,5
d,6

B.lst:
b,4
d,6
a,5

第一列是key，第二列是value。
B.lst 的key 是 A.lst 的key的子集。两个文件的行都是乱序的。
要求比较同一个key在两个文件里的value的大小，并把A.value > B.value 的key打印出来输出到result.lst，结果和格式如下：
result.lst:
a A:8 B:5
c A:5 B:
(输出的行序没要求，当key在A.lst有而B.lst没有时，也打印出来，如c）

题目看上去很简单，不过我发现实现的方法有很多，效率差别也很大。当文件的行数达到上万行时，执行时间会有几百倍的差别。

欢迎大家提出自己的方法和见解，我在网上找过但没找到合适的。稍后我也会给出自己的方法。

yestreenstars

1. $ awk -F, 'FNR==1{a[ARGIND]=gensub(/^(.*)\.lst$/,"\\1",1,FILENAME)}NR==FNR{b[$1]=$2;next}$2>b[$1]{printf "%s %s:%s %s:%s\n",$1,a[2],$2,a[1],b[$1]}' B.lst A.lst
   
2. a A:8 B:5
   
3. c A:5 B:

复制代码

badcow

回复 2# yestreenstars

好厉害的awk啊！学习了！{:3_198:}

badcow

刚才无意中挖出join这个工具，也拿来练练手吧，不过join要先排序才行。

1. sort A.lst > A.sort
   
2. sort B.lst > B.sort
   
3. join -a1 -t"," -1 1 -2 1 A.sort B.sort |awk -F, '$2>$3 {print $1 " A:"$2" B:" $3}'
   
4. rm A.sort B.sort

复制代码

badcow

2楼 yestreenstars 的方法简直是豪鬼的瞬狱杀啊，跑1万多行的文件只需0.062秒，真是“毫秒杀”啊！

我再把自己之前用“关联数组”的土办法贴出来，这个要bash 4.0以上才支持。

1. #!/bin/bash
   
2. 
   
3. declare -A A
   
4. declare -A B
   
5. 
   
6. awk -F, '{print "A["$1"]""="$2}' A.lst > A.lst.tmp
   
7. . A.lst.tmp && rm A.lst.tmp
   
8. 
   
9. awk -F, '{print "B["$1"]""="$2}' B.lst > B.lst.tmp
   
10. . B.lst.tmp && rm B.lst.tmp
    
11. 
    
12. for I in ${!A[*]}
    
13. do
    
14. if [[ "${A[$I]}" -gt "${B[$I]}" ]]; then
    
15.   printf "%s A:%s B:%s\n" $I ${A[$I]} ${B[$I]}
    
16. fi
    
17. done

复制代码

本来想用循环给数组赋值的，但是循环一结束，那个数组的值就变空了，不知道为什么，希望高人指点。所以迫不得已用点执行tmp文件来给数组赋值。
用这个方法跑1万行文件，结果秒出(0.8秒)，但比起yestreenstars 的毫秒出，还是太差了，呵呵，佩服佩服！

PS. 最初我居然用read + grep 的方法，耗时要几分钟，就没必要再拿出来丢人了，哈哈哈！

seesea2517

回复 5# badcow


    循环给数组赋值的那个问题没把代码贴出来，估计是大家都有问过的子进程的问题。用了管道读文件了是吗？是的话八成是子进程的问题了。

liaosnet

这个用AWK很简单吧。。

1. 
   
2. awk -F',' 'NR==FNR{b[$1]=$2}NR>FNR{a[$1]=$2;if(a[$1]>b[$1])print $1,"A:"a[$1],"B:"b[$1]}' B.lst A.lst
   

复制代码

haokoo

awk 'BEGIN{FS=",";OFS=" "} FNR==NR{a[$1]=$2;next}!a[$1]{print $1 OFS "A:" $2 OFS "B:";next}a[$1]{if($2>a[$1]) print $1 OFS "A:" $2 OFS "B:" a[$1]}' B.lst A.lst

yaozhibing41001

回复 1# badcow

python来一发

1. #! /usr/bin/python
   
2. 
   
3. _file_A=open('C:\Users\Administrator\Desktop\python\A.lst','r')
   
4. _file_B=open('C:\Users\Administrator\Desktop\python\B.lst','r')
   
5. 
   
6. 
   
7. _L_A=_file_A.read().split("\n")
   
8. _List_A=','.join(_L_A).split(",")
   
9. _Data_A=dict(zip(_List_A[0::2],_List_A[1::2]))
   
10. 
    
11. _L_B=_file_B.read().split("\n")
    
12. _List_B=','.join(_L_B).split(",")
    
13. _Data_B=dict(zip(_List_B[0::2],_List_B[1::2]))
    
14. 
    
15. 
    
16. 
    
17. for value in _Data_A:
    
18.     if _Data_B.has_key(value) and  _Data_A[value] > _Data_B[value]:
    
19.          print value,"A:",_Data_A[value],"B:",_Data_B[value]
    
20.     elif _Data_B.has_key(value)==False:
    
21.          print value,"A:",_Data_A[value],"B:"
    
22. _file_A.close()
    
23. _file_B.close()
    

复制代码

badcow

回复 6# seesea2517

我猜也是子进程问题，即使用awk的system来跑也会是变空：

1. declare -A A
   
2. awk -F, '{system("A["$1"]""="$2)}'  A.lst
   
3. echo ${A[*]}

复制代码

这样跑的话，数组A最后也是变空。