讨论一个不确定日期的数据统计(最后涉及到了数据结构)

yum2014

数据样本。第四列为无效值。

id1  0719  是              X
id1  0722  是              X
id2  0723  是              Y
id2  0724  是              Y
id3  0725  是              X
id1  0725  是              X
id4  0718  是              Z
id4  0719  是              Z
id5  0725  是              X
id5  0726  是              X
id6  0725  是              X
id6  0626  是              X

id1  0426  是              X
id1  0519  是              X
id2  0625  是              Y
id2  0724  是              Y
id3  0125  是              X
id1  0125  是              X
id4  0724  是              Z
id4  0219  是              Z
id5  0425  是              X
id5  0326  是              X
id6  0225  是              X
id6  0126  是              X


先来一个确定日志的统计：
        要求对每周进行统计。
        如果1周内大于2次是的id进行统计并报告

上面的数据是随便编的。所以用上面的数据可能一个没有入选的。

思路：

首先是将第二列转为第几周。
而后
awk '{a[$1." ".$2]++;}END{for i in a{if(a[i]>2){print i;}}}' datafile
得到的是
id1        第一周
id2        第一周
id3        第三周
...
而后再来一个
awk '{a[$2]=a[$2]." ".$1;}END{for (i in a){print i,a[i]}}'|sort -k1


不知道我这么说明白了没有。
现在请教的是：
如果不是按照自然周来区分的。
而是按照每一天来遍历的。
那么该怎么做呢：

根据id切分出文件来。有多少个id就切分出多少个文件。
而后读取第2列值。如果之差小于7就将第三列值进行累加。
如果第二列值之差大于7(超过一周)，就将这行抛弃。

而后继续读取下一行....

求问。这里用得到链表等数据结构是不是比较快点？并求一个思路。谢谢！

Shell_HAT

而是按照每一天来遍历的。
那么该怎么做呢：

请给出以下内容：
1、原始文本
2、希望得到的完整结果
3、原始文本是根据什么规律得到结果的

rdcwayx

你的第一周是如何定义的，周末是星期六还是星期日。

比如今年的1月1日是星期2， 是只用计算5天呢，还是6天？ 或者直接按1号到7号天算7天？

expert1

没看懂需求啊。

seesea2517

楼主这个用上面的数据可以得到相应的输出吗？没懂。

awk '{a[$1." ".$2]++;}END{for i in a{if(a[i]>2){print i;}}}' datafile
得到的是
id1        第一周
id2        第一周
id3        第三周

cao627

这个问题，怎么还没进展？@yum2014等楼主解释

davidbeckham921

统计报表的功能吧呵呵，你还真是没说明白，看的一头雾水。

yum2014

cao627 发表于 2013-08-29 10:36
这个问题，怎么还没进展？@yum2014等楼主解释

抱歉。好久没再看这个问题了。。。我有时间再研究下，谢谢各位的关注。

damcool

默认是今年还是某一年？

damcool

1. [:~]> sort -k1,1 -k2,2 /tmp/date                                 
   
2. id1  0125  是              X
   
3. id1  0426  是              X
   
4. id1  0519  是              X
   
5. id1  0719  是              X
   
6. id1  0722  是              X
   
7. id1  0725  是              X
   
8. id2  0625  是              Y
   
9. id2  0723  是              Y
   
10. id2  0724  是              Y
    
11. id2  0724  是              Y
    
12. id3  0125  是              X
    
13. id3  0725  是              X
    
14. id4  0219  是              Z
    
15. id4  0718  是              Z
    
16. id4  0719  是              Z
    
17. id4  0724  是              Z
    
18. id5  0326  是              X
    
19. id5  0425  是              X
    
20. id5  0725  是              X
    
21. id5  0726  是              X
    
22. id6  0126  是              X
    
23. id6  0225  是              X
    
24. id6  0626  是              X
    
25. id6  0725  是              X
    
26. [:~]> awk '{cmd="date -d \"2013"$2"\" +%U";cmd|getline d;close(cmd);a[$1":"d"week"]++}END{for (i in a) if (a[i]>1) printf"%s %d %s\n",i,a[i],b[i]}' /tmp/date|sort
    
27. id1:29week 2
    
28. id2:29week 3
    
29. id4:28week 2
    
30. id5:29week 2
    

复制代码