Chinaunix

标题: awk计算日志中每个分类最后50行的第2列数值的总和以及平均值 [打印本页]

作者: priod_chen 时间: 2016-07-17 16:32
标题: awk计算日志中每个分类最后50行的第2列数值的总和以及平均值
文件格式如下：

a 23
b 20
c 5
.....
a 13
b 18
c 21

文件内容在不断更新，我想取各分类的最新50行记录的第二列的和以及平均值(取整，四舍五入)

我想使用awk处理，处理后的结果类似：

分类总和平均
a 100 2
b 300 6
c 200 4

请各位大神指点，谢谢。

作者: haooooaaa 时间: 2016-07-17 21:13

awk '{a[$1][length(a[$1])+1]=$2}END{for(i in a)for(j in a[i])if(j>length(a[i])-3){d[i]+=a[i][j];e[i]++};for(i in e)print i,d[i],int(0.5+d[i]/e[i])}' file

复制代码

作者: sunzhiguolu 时间: 2016-07-17 22:11
用 tail 命令后面接管道直接处理就行了.

作者: ll104567 时间: 2016-07-18 08:17
楼上说的对、、、、

作者: ll104567 时间: 2016-07-18 08:56
顺手帮你写了个、、、
tail -50 file|awk '{a[$1]+=$2;b[$1]+=1}END{for(i in a){print i,a[i],int(a[i]/b[i]+0.5)}}'

作者: jcdiy0601 时间: 2016-07-18 09:13
要是最后50行的话

tail -50 file |awk '{a[$1]+=$2;c[$1]++}END{l=asorti(a,b);for(i=1;i<=l;i++)print b[i],a[b[i]]/c[b[i]]}'

复制代码

作者: sunzhiguolu 时间: 2016-07-18 09:57
顺手帮你写了个、、、

tail -50 f|perl -anle '{$h{$F[0]}[0]+=$F[-1];$h{$F[0]}[1]++}END{printf("%s, %d, %g\n",$_,$h{$_}[0],$h{$_}[0]/$h{$_}[-1]) for sort keys %h}'

复制代码

作者: 疯子影子 时间: 2016-07-18 15:00
这不是取各分类最新50条记录吗？楼上tail 50不行吧！

作者: jason680 时间: 2016-07-18 15:19
回复 1# priod_chen

$ cat FILE
a 1
a 2
c 10
b 3
a 3
c 13
b 5
a 4
c 15
a 5
b 4
c 13
b 2
b 1

$ awk -vt=3 '{if(!a[$1]++)b[++c]=$1;d[$1,a[$1]%t]=$2}END{OFS="\t";print "分类","总和","平均";for(n=1;n<=c;++n){s=0;for(m=0;m<t;++m)s+=d[b[n],m];print b[n],s,int(s/t+0.5)}}' FILE
分类       总和       平均
a       12       4
c       41       14
b       7       2

作者: sunzhiguolu 时间: 2016-07-18 16:33

疯子影子发表于 2016-07-18 15:00
这不是取各分类最新50条记录吗？楼上tail 50不行吧！

tail 50 不行那就最后进行统计:

#!/usr/bin/perl
use strict;
use warnings;
my %hData;
map {my ($k, $v) = split; push (@{$hData{$k}}, $v)} <DATA>;
foreach my $k (keys %hData){
my $cnt = @{$hData{$k}};
my @aData = $cnt > 50 ? @{$hData{$k}}[($cnt - 50) .. ($cnt - 1)] : @{$hData{$k}};
$cnt = @aData;
my $total = 0;
$total += $_ for @aData;
printf ("%s %d %g\n", $k, $total, int($total / $cnt + .5));
}
__DATA__
a 1
a 2
c 10
b 3
a 3
c 13
b 5
a 4
c 15
a 5
b 4
c 13
b 2
b 1

复制代码

a 15 3
c 51 13
b 15 3

作者: priod_chen 时间: 2016-07-19 20:07
感谢各位的支持，学习了。

作者: priod_chen 时间: 2016-07-20 11:31
各位大神，能不能只用shell处理？貌似各位大神的脚本，不太符合我的需求。

作者: jason680 时间: 2016-07-20 11:48
http://bbs.chinaunix.net/thread-452942-1-1.html
http://bbs.chinaunix.net/thread-218853-1-1.html

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)