［求助］C＋＋分析日志的问题

gqgl

向各位达人求助C＋＋处理网站日志的问题

我的网站日志里有用户ID，访问IP这样的信息，想要统计用户的独立IP访问量。但是不想用数据库，请问这个如何解决？
我的日志文件的总和最大可能达到上G。请高人帮忙想想办法。

gqgl

用脚本速度是不是问题尼？不想用数据库主要原因是速度问题。脚本不知道速度怎么样？以前的程序使用php+mysql做的，速度不理想，所以要用C＋＋写。

cx6445

如果只统计ip个数，就用awk把ip单独另存一个文本，sort排序，uniq 去重，wc统计行数，用管道连成一行命令就可以了。你测一下，只要IP记录行数不超过1000万，应该很快能出来的。

方便一些perl利用散列也可以很快算出来，普通20GB的apache日志，看具体io速度，有raid半小时之内也肯定出来了。就算改成c也快不了多少，瓶颈在硬盘io.

gqgl

看了您的建议，但是我的分析中有3,4个分组操作就是类似mysql的group by abc,def,ghi 这样的操作然后还要对IP等数据进行排重。
我原来考虑使用容器来解决，但是发现数据大了以后内存不足。您有没有比较好的建议？如何解决这样的问题

cx6445

原帖由 gqgl 于 2008-1-11 14:21 发表
看了您的建议，但是我的分析中有3,4个分组操作就是类似mysql的group by abc,def,ghi 这样的操作然后还要对IP等数据进行排重。
我原来考虑使用容器来解决，但是发现数据大了以后内存不足。您有没有比较好的建议 ...

最好把你的需求和数据量详细的说一下

gqgl

我的日志格式是：

pid    sort   domain   url    bt    ip    session   cookie


然后将日志中的数据导入到access表中


这是我现在系统的SQL相信您会了解我的需求了。
SELECT pid, sort, domain, url, bt, COUNT(*) num, COUNT(DISTINCT ip) ip, COUNT(DISTINCT session) session, COUNT(DISTINCT cookie) cookie FROM access WHERE type = 'c' GROUP BY pid, sort, domain, url, bt

通过这个SQL得到我要的结果。

日志的量1G左右

gqgl

我的日志格式是：

pid    sort   domain   url    bt    ip    session   cookie


然后将日志中的数据导入到access表中


这是我现在系统的SQL相信您会了解我的需求了。
SELECT pid, sort, domain, url, bt, COUNT(*) num, COUNT(DISTINCT ip) ip, COUNT(DISTINCT session) session, COUNT(DISTINCT cookie) cookie FROM access WHERE type = 'c' GROUP BY pid, sort, domain, url, bt

通过这个SQL得到我要的结果。

日志的量1G左右

gqgl

以前的分析主要慢在数据库，我想脱离数据库实现这样的功能。

cx6445

原帖由 gqgl 于 2008-1-11 14:43 发表
我的日志格式是：

pid    sort   domain   url    bt    ip    session   cookie


然后将日志中的数据导入到access表中


这是我现在系统的SQL相信您会了解我的需求了。
SELECT pid, sort, domain,  ...

我用perl中的数组来举例：

1、读取文件，行遍历
2、赋值数组
   data{pid, sort, domain, url, bt}{ip}++
    data{pid, sort, domain, url, bt}{session}++
    data{pid, sort, domain, url, bt}{cookie}++
3、输出所有值不为null的数组

不知道有没有解释清楚