Chinaunix

标题: nginx日志分析!! [打印本页]

作者: linuxKong 时间: 2011-12-05 21:43
标题: nginx日志分析!!
在这里混的时间不短了,发现这里都是大神级人物,赞一个先!

小弟又遇到问题了!

先说说问题,这两天我在做nginx的日志分析,第一步我要把日志的格式做的有规律,这一步已经在大家的帮助下搞定了!

现在的需求是找一个人的行走轨迹,即一个人从第一个时间来到某个时间走的轨迹,我们网站做了一个uid来跟踪这个用户,也就是说不需要考虑ip原因了,但是这又有问题了,虽然我们能确定同一个uid的人是同一个用户,但是这些用户都是无序的存在日志里的,如果要找到一个人需要翻整个文件才能确定它的轨迹!!现在我的问题就出在这里了!

首先被我抛弃了的几个做法!!
1,使用sort对uid进行排序,然后确定轨迹! 这里有一个缺点,如果10G的文件放在2G内存的机器上跑,绝对死掉!

2,使用数组以uid作为键值,剩下的作为value值存储,同上,array绝对吃死内存!

3,先把uid通过sort -u提取出来,然后使用uid对文件进行循环! 这种做法最操蛋了,如果有一千万个用户,10G的文件,我需要循环一千万个10G!!

4,读一条数据存一条,同样以uid作为键值,如果存在进行更新操作,不存在写入!! 这是反复操作mysql数据库啊,我记得以前使用二十万个数据使用命令导入数据库,直接把数据库累死了!!!其实就算不累死,那时间也是等的花都谢了!

不知道上面我的说法是否有误,请大神们指点修正!

现在急需这种解决方案,如何在短时间内,不占用太多内存的情况下,寻找一个人的轨迹(写入数据库的事可以放一边,因为使用周期性时间也可以做到写入数据库)

使用的是shell脚本!!

作者: linuxKong 时间: 2011-12-05 23:11
在线等到现在啊,等的我花都谢了,等大神大神!

作者: seesea2517 时间: 2011-12-06 09:29
只是处理一个uid吗？是的话就不要对所有的uid做处理嘛。

作者: linuxKong 时间: 2011-12-06 11:45
处理日志么,当然要做很多事,不仅仅只处理uid,就算上面的寻找一个人的轨迹,也是一件事!

现在依然困扰中!想必大家也处理过类似的问题,拿出来分享一下,或者寻找一个思路帮忙!

作者: linuxKong 时间: 2011-12-06 15:50
自己顶贴,求援助!!

作者: ri0day 时间: 2011-12-06 17:24
按行拆分文件。逐个文件处理。最后合并结果集。

作者: rdcwayx 时间: 2011-12-06 19:13
既然已经写了这么多，麻烦发个日志样本上来，这样我们也好理解。

比如我们要知道uid 出现在日志文件的具体位置。

作者: 南极雨 时间: 2011-12-06 19:33
回复 1# linuxKong

可以重新生成一个新的日志,然后记录这个uid在线的时间区间,这样不就行了?
它一个用户不可能出现10G的日志吧?

然后又说到了,可以单独针对这个用户做个日志,具体实现可以在nginx配置文件中用rewrite实现...google吧

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)