动动脑：数据统计

reyleon

原始文本（部分）：

1. 5911043230400514        1       2013-11-08 10:20:41
   
2. 5911043230400531        20      2013-11-09 12:16:07
   
3. 5911043230400595        10      2013-11-09 12:23:16
   
4. 5911043230400595        30      2013-11-09 12:43:16
   
5. 5911043230400564        5       2013-11-09 13:17:47
   
6. 5911043230400528        10      2013-11-09 13:32:46
   
7. 5911043230400595        30      2013-11-09 13:43:16
   
8. 5911043230402162        10      2013-11-09 14:00:59
   
9. 5911043230400531        20      2013-11-10 12:16:07
   
10. 5911043230400595        10      2013-11-10 12:23:16
    
11. 5911043230400595        30      2013-11-10 12:43:16
    
12. 5911043230400564        5       2013-11-10 13:17:47
    
13. 5911043230400528        10      2013-11-10 13:32:46
    
14. 5911043230400595        30      2013-11-10 13:43:16

复制代码

文本说明：第一列是id，一个id对应一个人，第二列是充值金额，第三四列是时间戳
需求：统计每一天每小时的时间段总共有多少人充值（第一列id去重，计算这个时间段去掉重复的id剩下的id的个数，即人数），这个时间段的充值总额是多少（第二列相加），另外还有两个特殊情况：

1. 假如有个id在12点这个时间段充值了，但是在13点这个时间段的时候这个id又充值了，这个id则不能算做是13点这个时间段充值的人数，只能计为12点的。
比如2013-11-09 12点这个段 id为5911043230400595的充值了，而这个id也在13点这个段充值的，所以这个不能算13点的充值人数，所以13点去掉这个id，只剩下2个id，也就是说总数只计2人充值。后面的时间段也一样这样计算。

2. 是以每一天的每小时计算的，比如5911043230400595这个id在2013-11-10的12点时段又充值了，需要计为这天的这个时段的人数个数。

希望得到的结果：

1. 2013-11-08 10 1 1
   
2. 2013-11-09 12 60 2 //这天的12点总充值金额为60，总id个数为2
   
3. 2013-11-09 13 45 2 //这天的13点总充值金额为45，总id个数为3个，但其中有一个id（5911043230400595）在12点已经充值过，不计为13点这个时段的人数
   
4. 2013-11-09 14 10 1
   
5. 2013-11-10 12 60 2
   
6. 2013-11-10 13 45 2

复制代码

各位大神，出来动动脑，个人感觉有点儿难度，一时半会儿整不出来

关阴月飞

回复 1# reyleon


    1. 假如有个id在12点这个时间段充值了，但是在13点这个时间段的时候这个id又充值了，这个id则不能算做是13点这个时间段充值的人数，只能计为12点的。


只是12-13这个时间段搞一下特殊么？  还是说只要是二个小时之内连续出现过的都只算一次？  
例如：  同一个ID: 10 点 一次， 11点 一次， 12点 一次， 13点 一次 14点 一次， 这个怎么算？

reyleon

回复 2# 关阴月飞


一天内，同一个id出现多次的话，只有第一次出现的计入那个时间段的总id数,其他任意时间段出现的均不进行统计。

文本中只是截取了一部分数据，原始数据中也会有14点，15点，16点，17点等时间段，总之，一天的时间段分为 0点段，1点段，2点段....23点段

yestreenstars

1. [root@localhost ~]# cat i
   
2. 5911043230400514        1       2013-11-08 10:20:41
   
3. 
   
4. 5911043230400531        20      2013-11-09 12:16:07
   
5. 5911043230400595        10      2013-11-09 12:23:16
   
6. 5911043230400595        30      2013-11-09 12:43:16
   
7. 
   
8. 5911043230400564        5       2013-11-09 13:17:47
   
9. 5911043230400528        10      2013-11-09 13:32:46
   
10. 5911043230400595        30      2013-11-09 13:43:16
    
11. 
    
12. 5911043230402162        10      2013-11-09 14:00:59
    
13. 
    
14. 5911043230400531        20      2013-11-10 12:16:07
    
15. 5911043230400595        10      2013-11-10 12:23:16
    
16. 5911043230400595        30      2013-11-10 12:43:16
    
17. 
    
18. 5911043230400564        5       2013-11-10 13:17:47
    
19. 5911043230400528        10      2013-11-10 13:32:46
    
20. 5911043230400595        30      2013-11-10 13:43:16
    
21. [root@localhost ~]# awk '/^$/{print t,s,n;s=n=0;next}{sub(/:.*/,"",$4);if(!a[$1,$3]++)++n;s+=$2;t=$3" "$4}END{print t,s,n}' i
    
22. 2013-11-08 10 1 1
    
23. 2013-11-09 12 60 2
    
24. 2013-11-09 13 45 2
    
25. 2013-11-09 14 10 1
    
26. 2013-11-10 12 60 2
    
27. 2013-11-10 13 45 2
    
28. [root@localhost ~]#

复制代码

reyleon

回复 4# yestreenstars


      实际是没有空行的，我是为了说明一个时间段一个时间段这样子才用空行区分开。

yestreenstars

无空行版：

1. [root@localhost ~]# cat i
   
2. 5911043230400514        1       2013-11-08 10:20:41
   
3. 5911043230400531        20      2013-11-09 12:16:07
   
4. 5911043230400595        10      2013-11-09 12:23:16
   
5. 5911043230400595        30      2013-11-09 12:43:16
   
6. 5911043230400564        5       2013-11-09 13:17:47
   
7. 5911043230400528        10      2013-11-09 13:32:46
   
8. 5911043230400595        30      2013-11-09 13:43:16
   
9. 5911043230402162        10      2013-11-09 14:00:59
   
10. 5911043230400531        20      2013-11-10 12:16:07
    
11. 5911043230400595        10      2013-11-10 12:23:16
    
12. 5911043230400595        30      2013-11-10 12:43:16
    
13. 5911043230400564        5       2013-11-10 13:17:47
    
14. 5911043230400528        10      2013-11-10 13:32:46
    
15. 5911043230400595        30      2013-11-10 13:43:16
    
16. [root@localhost ~]# awk '{sub(/:.*/,"",$4);t=$3" "$4;if(!a[$1,$3]++)++n[t];s[t]+=$2}END{for(i in n)print i,s[i],n[i] | "sort -k1,1 -k2n"}' i
    
17. 2013-11-08 10 1 1
    
18. 2013-11-09 12 60 2
    
19. 2013-11-09 13 45 2
    
20. 2013-11-09 14 10 1
    
21. 2013-11-10 12 60 2
    
22. 2013-11-10 13 45 2
    
23. [root@localhost ~]#

复制代码

yestreenstars

回复 5# reyleon
在你回帖之前我已经在想了~

   

yestreenstars

基于空行版修改：

1. [root@localhost ~]# cat i
   
2. 5911043230400514        1       2013-11-08 10:20:41
   
3. 5911043230400531        20      2013-11-09 12:16:07
   
4. 5911043230400595        10      2013-11-09 12:23:16
   
5. 5911043230400595        30      2013-11-09 12:43:16
   
6. 5911043230400564        5       2013-11-09 13:17:47
   
7. 5911043230400528        10      2013-11-09 13:32:46
   
8. 5911043230400595        30      2013-11-09 13:43:16
   
9. 5911043230402162        10      2013-11-09 14:00:59
   
10. 5911043230400531        20      2013-11-10 12:16:07
    
11. 5911043230400595        10      2013-11-10 12:23:16
    
12. 5911043230400595        30      2013-11-10 12:43:16
    
13. 5911043230400564        5       2013-11-10 13:17:47
    
14. 5911043230400528        10      2013-11-10 13:32:46
    
15. 5911043230400595        30      2013-11-10 13:43:16
    
16. [root@localhost ~]# awk '{sub(/:.*/,"",$4)}t&&t!=$3" "$4{print t,s,n;s=n=0}{if(!a[$1,$3]++)++n;s+=$2;t=$3" "$4}END{print t,s,n}' i
    
17. 2013-11-08 10 1 1
    
18. 2013-11-09 12 60 2
    
19. 2013-11-09 13 45 2
    
20. 2013-11-09 14 10 1
    
21. 2013-11-10 12 60 2
    
22. 2013-11-10 13 45 2
    
23. [root@localhost ~]#

复制代码

reyleon

回复 6# yestreenstars


    膜拜，牛逼，搞定了，大赞

reyleon

回复 8# yestreenstars


    这思路太神奇了，我以为会很复杂，看来真的是只有想不到，没有做不到啊