文本（行有几十万，列有20列以上）求和及求min最小值 要保证速度

chenteng168

有这么一个文本a.txt,内容如下
20160101|42012319891122492X|602|10000|100|10000|
20160101|42012319891122492X|605|10000|200|20000|
20160101|420123197911215144|612|10000|30000|200|
1、红色部分为关键列
2、要求前两列关键列相同的，第三列求最小的值，后面的列求和
3、这只是个例子，实际上有N行、N列所以脚本不能写死
4、速度不能太慢（几分钟之内）

结果：

20160101|42012319891122492X|602|20000|300|30000|
20160101|420123197911215144|612|10000|30000|200|

haooooaaa

你有尝试怎么折腾呢？

chenteng168

我根本不会shell，只好来请教大神们了

Herowinter

回复 1# chenteng168

1. 
   
2. awk -F\| '{a[$1FS$2];for(i=1;i<=NF;i++)if(length($i)){b[$1FS$2,i]+=$i;if(!($1FS$2 in c) || $3<c[$1FS$2])c[$1FS$2]=$3}} END{for(i in a){s=i""FS""c[i];for(j=4;j<=NF;j++)s=s""FS""b[i,j];print s}}' i
   
3. 20160101|420123197911215144|612|10000|30000|200|
   
4. 20160101|42012319891122492X|602|20000|300|30000|
   

复制代码

seanking1987

初学AWK者留贴路过~~写不出来

hz_oracle

awk 博大精深

sunzhiguolu

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %hStat;
   
6. while (<>){
   
7.     my ($key, $min, $vals) = /\A((?:\w+\|){2})(\d+)\|((?:\d+\|)+)/g;
   
8.     $vals = [split (/\|/, $vals)];
   
9.     if (!exists ($hStat{$key})){
   
10.         @{$hStat{$key}}{"Min", "Vals"} = ($min, $vals);
    
11.         next;
    
12.     }
    
13.     my $Vals = $hStat{$key}{"Vals"};
    
14.     $Vals->[$_] += $vals->[$_] for 0 .. scalar(@$vals) - 1;
    
15.     $hStat{$key}{"Min"} = $min if ($hStat{$key}{"Min"} > $min);
    
16. }
    
17. 
    
18. print $_, join ("|", $hStat{"$_"}{"Min"}, @{$hStat{"$_"}{"Vals"}}, ""), "\n" for keys %hStat;
    

复制代码

20160101|420123197911215144|612|10000|30000|200|
20160101|42012319891122492X|602|20000|300|30000|

jason680

回复 1# chenteng168

$ awk -F'|' '{k=$1 FS $2;if(a[k]==""||a[k]>$3)a[k]=$3;for(n=4;n<NF;++n)v[k,n]+=$n}END{for(k in a){p=k FS a[k] FS;for(n=4;n<NF;++n)p=p v[k,n] FS;print p}}' FILE
20160101|42012319891122492X|602|20000|300|30000|
20160101|420123197911215144|612|10000|30000|200|

   

wjemail

# awk -F '|' '{b[$1"|"$2] = 0 ; if (a[$1"|"$2,3] == 0 || $3 < a[$1"|"$2,3]) a[$1"|"$2,3]=$3; for(i=4;i<+NF;i++) a[$1"|"$2,i] += $i} END { for (i in b) {printf(i"|");for(j=3;j<NF;j++) printf(a[i,j]"|" );printf"\n"}}' q17
20160101|420123197911215144|612|10000|30000|200|
20160101|42012319891122492X|602|20000|300|30000|

用二维数组的方法试一下，感觉二维数组不是awk的强项。