在这里混的时间不短了,发现这里都是大神级人物,赞一个先!
小弟又遇到问题了!
先说说问题,这两天我在做nginx的日志分析,第一步我要把日志的格式做的有规律,这一步已经在大家的帮助下搞定了!
现在的需求是找一个人的行走轨迹,即一个人从第一个时间来到某个时间走的轨迹,我们网站做了一个uid来跟踪这个用户,也就是说不需要考虑ip原因了,但是这又有问题了,虽然我们能确定同一个uid的人是同一个用户,但是这些用户都是无序的存在日志里的,如果要找到一个人需要翻整个文件才能确定它的轨迹!!现在我的问题就出在这里了!
首先被我抛弃了的几个做法!!
1,使用sort对uid进行排序,然后确定轨迹! 这里有一个缺点,如果10G的文件放在2G内存的机器上跑,绝对死掉!
2,使用数组以uid作为键值,剩下的作为value值存储,同上,array绝对吃死内存!
3,先把uid通过sort -u提取出来,然后使用uid对文件进行循环! 这种做法最操蛋了,如果有一千万个用户,10G的文件,我需要循环一千万个10G!!
4,读一条数据存一条,同样以uid作为键值,如果存在进行更新操作,不存在写入!! 这是反复操作mysql数据库啊,我记得以前使用二十万个数据使用命令导入数据库,直接把数据库累死了!!!其实就算不累死,那时间也是等的花都谢了!
不知道上面我的说法是否有误,请大神们指点修正!
现在急需这种解决方案,如何在短时间内,不占用太多内存的情况下,寻找一个人的轨迹(写入数据库的事可以放一边,因为使用周期性时间也可以做到写入数据库)
使用的是shell脚本!! |
免费注册
发表于 2011-12-05 21:43
发表于 2011-12-06 19:13
