【已解决】文本合并 帮忙改下awk命令

chenteng168

帮忙修改一下AWK命令
1、以前的文件及awk命令｛
以下两个文件以“|”分割前两列为关建列，需要把b.txt的内容合并到a.txt里面，两个文件可能出现a.txt的关建列不在b.txt,b.txt的关建列不在a.txt中，不在的一方用0.0代替（注：a、b两个文件只是个例子，实际中两个文件中有N 列N 行，但关键列只有前两列）
a.txt
A0001|101|0.1|0.3|
A0002|102|1.1|1.2|
A0003|102|1.1|1.4|
b.txt
A0001|101|1.1|1.2|1.3|
A0002|102|1.4|1.8|1.9|
A0004|102|1.1|1.2|1.3|

awk -F\| 'NR==FNR{s1=$3;for(i=4;i<=NF;i++)if(length($i))s1=s1""FS$i;a[$1FS$2]=s1;if(FNR==1){d1="0.0";for(i=4;i<=NF;i++)if(length($i))d1=d1""FS"0.0"};next} {print $0(length(a[$1FS$2])?a[$1FS$2]:d1)FS;delete a[$1FS$2];if(FNR==1){d2="0.0";for(i=4;i<=NF;i++)if(length($i))d2=d2""FS"0.0"}} END{for(i in a)print i""FS""d2""FS""a""FS}' b.txt a.txt
最终生成以下结果
A0001|101|0.1|0.3|1.1|1.2|1.3|
A0002|102|1.1|1.2|1.4|1.8|1.9|
A0003|102|1.1|1.4|0.0|0.0|0.0|
A0004|102|0.0|0.0|1.1|1.2|1.3|
｝
2、现在要的要求｛
以下两个文件以“|”分割前两列为关建列，需要把b.txt的内容合并到a.txt里面，两个文件可能出现a.txt的关建列不在b.txt,b.txt的关建列不在a.txt中，不在的一方用0.0代替（注：a、b两个文件只是个例子，实际中两个文件中有N 列N 行，但关键列只有第一列）
a.txt
A0001|0.1|0.3|
A0002|1.1|1.2|
A0003|1.1|1.4|
b.txt
A0001|1.1|1.2|1.3|
A0002|1.4|1.8|1.9|
A0004|1.1|1.2|1.3|
最终生成以下结果
A0001|0.1|0.3|1.1|1.2|1.3|
A0002|1.1|1.2|1.4|1.8|1.9|
A0003|1.1|1.4|0.0|0.0|0.0|
A0004|0.0|0.0|1.1|1.2|1.3|
不知道怎么改上面的awk命令--！
｝

seanking1987

1. awk -F \| 'NR==FNR{a[$1]=$2 FS $3 FS $4 FS;next}{print $0(length(a[$1])?a[$1]:"0.0|0.0|0.0|");delete a[$1]} END{for(i in a)print i"|0.0|0.0|"a[i]}' b.txt a.txt

复制代码

chenteng168

回复 2# seanking1987


    你这个是写死了的，实际中有N列N行，达不到目的

Herowinter

回复 1# chenteng168

1. 
   
2. awk -F\| 'NR==FNR{s1=$2;for(i=3;i<=NF;i++)if(length($i))s1=s1""FS$i;a[$1]=s1;if(FNR==1){d1="0.0";for(i=3;i<=NF;i++)if(length($i))d1=d1""FS"0.0"};next} {print $0(length(a[$1])?a[$1]:d1)FS;delete a[$1];if(FNR==1){d2="0.0";for(i=3;i<=NF;i++)if(length($i))d2=d2""FS"0.0"}} END{for(i in a)print i""FS""d2""FS""a[i]""FS}' b.txt a.txt
   
3. A0001|0.1|0.3|1.1|1.2|1.3|
   
4. A0002|1.1|1.2|1.4|1.8|1.9|
   
5. A0003|1.1|1.4|0.0|0.0|0.0|
   
6. A0004|0.0|0.0|1.1|1.2|1.3|
   

复制代码

chenteng168

回复 4# Herowinter


    谢谢，非常感谢！

reyleon

1. #!/usr/bin/python
   
2. #coding:utf8
   
3. 
   
4. import fileinput
   
5. 
   
6. files = ['a.txt', 'b.txt']
   
7. handle_result = {}
   
8. order_keys = []
   
9. from_before = []
   
10. from_after = []
    
11. for line in fileinput.input(files):
    
12.     line_eles = line.strip().strip('|').split('|')
    
13.     k = line_eles[0]
    
14.     handle_result.setdefault(k, []).extend(line_eles[1:])
    
15.     if k not in order_keys:
    
16.         order_keys.append(k)
    
17.     if fileinput.filename() == files[0]:
    
18.         from_before.append(k)
    
19.     else:
    
20.         from_after.append(k)
    
21. 
    
22. 
    
23. max_column = 0
    
24. for k in order_keys:
    
25.     if max_column < len(handle_result[k]):
    
26.         max_column = len(handle_result[k])
    
27. 
    
28. for k in order_keys:
    
29.     if k in from_before:
    
30.         while len(handle_result[k]) < max_column:
    
31.             handle_result[k].append('0.0')
    
32.     elif k in from_after:
    
33.         while len(handle_result[k]) < max_column:
    
34.             handle_result[k].insert(0,'0.0')
    
35. 
    
36. for k in order_keys:
    
37.     print "%s|%s|"  % (k,'|'.join(handle_result[k]))

复制代码

chenteng168

回复 4# Herowinter


    你很厉害，我看了很多贴子都是你解决的，无法用语言来表达对你的崇拜！
还想问你个问题，通过第一列关键列，把后面的每一列求和，实际中还是有N列N行
42012319891122492X|10000|100|10000|
420123197911215144|10000|30000|200|
420123197911215144|10000|30000|200|

Herowinter

回复 7# chenteng168

1. 
   
2. awk -F\| '{a[$1];for(i=2;i<NF;i++)b[$1,i]+=$i} END{len=asorti(a,tA);for(i=1;i<=len;i++){printf tA[i];for(j=2;j<NF;j++)printf FS""b[tA[i],j];print FS}}' urfile
   

复制代码