分析日志题目

ryanwei

一个关于日志分析的题目 ：
有n多这样的记录行
127.0.0.1|1797|1257758030|000|
127.0.0.1|112|1257758048|001|
其中用｜分割了每个信息。分别是 ip地址，id号，访问时间,000代表查看001代表点击。
现在想要实现一下效果
id    访问量    点击量     独立ip
.想了很久一只没有什么好的思路。。。求解

思一克

用数据库最好。
自己编写不值得。数据大了，效果也不好。

ryanwei

我是为了提高效率才不用数据库的。是阿，很难。。

cugb_cat

输出是什么啊？在一个时间段内，每个ID的访问量、点击量和独立IP数？
用Perl很简单啊，说说你的日志的数量级？

ryanwei

大侠，，，输出到一个txt文件即可。。我以前没用过分析。我知道linux下AWStats就是用perl写的，Webalizer是用c写的。以前没做过这方面工作。
因为我做的是广告系统，可能会将广告放到 sina,yahoo等门户。日志以小时为单位存放在日志文件中。大约每小时1w行。

prolj

一次读入内容，每次分析一行，strtok，能做到，就是不知道性能，呵呵试试看吧

cugb_cat

原帖由 ryanwei 于 2009-11-12 18:23 发表
大侠，，，输出到一个txt文件即可。。我以前没用过分析。我知道linux下AWStats就是用perl写的，Webalizer是用c写的。以前没做过这方面工作。
因为我做的是广告系统，可能会将广告放到 sina,yahoo等门户。日志以 ...

靠，才1w行，真是小case，用shell搞也慢不了。用Perl的哈希表，很快很快的！～～！

A.com

随便什么脚本都可以很方便地把日志文件转换成你想要的格式,但是,你那个访问量是同时关联到id和访问时间的,似乎只能是1,没什么意义,如果统计同id的访问次数,那访问时间就没有意义了