请教一个棘手的统计，awk相关

jopener

data文件格式如下：

1   jack   1200406087123
2   tom   1210206087123
3   jack   1210406087000
4   jack   1210406087123

field分别表示：id，人名，操作时间（这个是毫秒数，从1970-01-01开始的）

现在要取出最近一个月内的分布数据，
即：一个月内每天的记录数量和不同的人。

我刚开始学shell，
有几个问题不太会，请教高手

我已经能做到的：
(1)统计一定时间内的记录数

awk 'BEGIN{total=0}{if($3>120343400403) total+=1} END{print total}' data

(2)统计一定时间内不同的用户数量

awk 'BEGIN{uc=0} {if($3>120343400403) arr[$2]+=1} END{{ for(i in arr) uc+=1} {print uc} }' data

将上述两个功能弄到一起我也会了

需要求助各位的：
如何取得最近一个月的自然日的分布数据，格式如下
日期  用户数 记录数
0401 2        5
0402 3        4
0403 0        0

按我现在的做法，我只会按天，循环执行上面的语句，得到每天的数据，然后再整合统计。
但是我的数据比较大，有1000万条左右，如果统计两三个月的就要循环几十次，太慢了，

请问高手有什么方法吗

小鹭

分割成天数据，在按天统计比较好一些
个人想不出什么好办法，下面的命令把某天数据提取出来。
awk '$3>=xxxxxxxxxxxx, $3<=yyyyyyyyyyyy' data

再结合你原有命令，似乎也不会太慢.

jopener

我正在尝试另一个途径，
用strftime来取日期
正在尝试

zhangshebao

bash-3.2$ echo "1   jack   1200406087123
2   tom   1210206087123
3   jack   1210406087000
4   jack   1210406087123

"|gawk 'BEGIN{
#取当月月初对应的毫秒数，存在mm01中
mm01=(mktime(strftime("%Y %m 01 00 00 00"))*1000);
}
{
  #print "调试1",$0,strftime("%m%d",$3/1000);
}
#时间在mm01以后（即本月的）：
$3>=mm01{
#取当前行的日期值mmdd
mmdd=strftime("%m%d",$3/1000);
# print "调试2",$0,mmdd;
#每天的记录数加一,如果该日期首次出现，则按出现序号记下日期，便于按顺序打印
if(!dayrecord[mmdd]++) daynum[++days]=mmdd;
#每天每人的记录数加一，如果该人是今天第1次出现则该天的人数加1
if(!daymanrecord[mmdd,$2]++)dayman[mmdd]++;
}
END{
#打印每天的人数及记录数,原来没按顺序打印。现在按出现的先后顺序打印；
   for (day=1;day<=days;day++){
      if (dayrecord[mmdd=daynum[day]])print mmdd,dayman[mmdd],dayrecord[mmdd];
   }
}'
0508 1 1
0510 1 2

[ 本帖最后由 zhangshebao 于 2008-5-10 22:05 编辑 ]

loveoov

原帖由 zhangshebao 于 2008-5-10 19:36 发表
bash-3.2$ echo "1   jack   1200406087123
2   tom   1210206087123
3   jack   1210406087000
4   jack   1210406087123

"|gawk 'BEGIN{
mm01=(mktime(strftime("%Y %m 01 00 00 00"))*1000);
}
{
...

能详细注释一下就好了！

zhangshebao

4楼加了注解了，增加了按顺序打印。

jopener

太感动了。。。。谢谢