awk计算日志中每个分类最后50行的第2列数值的总和以及平均值

priod_chen

文件格式如下：

a 23
b 20
c 5
.....
a 13
b 18
c 21

文件内容在不断更新，我想取各分类的最新50行记录的第二列的和以及平均值(取整，四舍五入)

我想使用awk处理，处理后的结果类似：

分类                 总和             平均
a                100                2
b                300                6
c                200                4

请各位大神指点，谢谢。

haooooaaa

1. awk '{a[$1][length(a[$1])+1]=$2}END{for(i in a)for(j in a[i])if(j>length(a[i])-3){d[i]+=a[i][j];e[i]++};for(i in e)print i,d[i],int(0.5+d[i]/e[i])}' file

复制代码

sunzhiguolu

用 tail 命令后面接管道直接处理就行了.

ll104567

楼上说的对、、、、

ll104567

顺手帮你写了个、、、
tail -50 file|awk '{a[$1]+=$2;b[$1]+=1}END{for(i in a){print i,a[i],int(a[i]/b[i]+0.5)}}'

jcdiy0601

要是最后50行的话

1. tail -50 file |awk '{a[$1]+=$2;c[$1]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]/c[b[i]]}'

复制代码

sunzhiguolu

顺手帮你写了个、、、

1. tail -50 f|perl -anle '{$h{$F[0]}[0]+=$F[-1];$h{$F[0]}[1]++}END{printf("%s, %d, %g\n",$_,$h{$_}[0],$h{$_}[0]/$h{$_}[-1]) for sort keys %h}'

复制代码

疯子影子

这不是取各分类最新50条记录吗？楼上tail 50不行吧！

jason680

回复 1# priod_chen

$ cat FILE
a 1
a 2
c 10
b 3
a 3
c 13
b 5
a 4
c 15
a 5
b 4
c 13
b 2
b 1

$ awk -vt=3 '{if(!a[$1]++)b[++c]=$1;d[$1,a[$1]%t]=$2}END{OFS="\t";print "分类","总和","平均";for(n=1;n<=c;++n){s=0;for(m=0;m<t;++m)s+=d[b[n],m];print b[n],s,int(s/t+0.5)}}' FILE
分类        总和        平均
a        12        4
c        41        14
b        7        2

   

sunzhiguolu

疯子影子 发表于 2016-07-18 15:00
这不是取各分类最新50条记录吗？楼上tail 50不行吧！

tail 50 不行那就最后进行统计:

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %hData;
   
6. map {my ($k, $v) = split; push (@{$hData{$k}}, $v)} <DATA>;
   
7. foreach my $k (keys %hData){
   
8.     my $cnt = @{$hData{$k}};
   
9.     my @aData = $cnt > 50 ? @{$hData{$k}}[($cnt - 50) .. ($cnt - 1)] : @{$hData{$k}};
   
10.     $cnt = @aData;
    
11.     my $total = 0;
    
12.     $total += $_ for @aData;
    
13.     printf ("%s %d %g\n", $k, $total, int($total / $cnt + .5));
    
14. }
    
15. 
    
16. __DATA__
    
17. a 1
    
18. a 2
    
19. c 10
    
20. b 3
    
21. a 3
    
22. c 13
    
23. b 5
    
24. a 4
    
25. c 15
    
26. a 5
    
27. b 4
    
28. c 13
    
29. b 2
    
30. b 1
    
31. 
    

复制代码

a 15 3
c 51 13
b 15 3