一道笔试题

你还未够水准呢

qq 用户有 30 亿，每日的登陆、登出的日志条目有 100 亿之多，

设计程序统计每天登陆人数；

设计程序剔除因为掉线而重复登陆的情况；

设计程序求出在线人数最高的时刻。

日志条目 格式 可以看作

QQ号码 用户ID 登入时间 登出时间
XXXXX   XXXXX   XXXXX    XXXXX

传送门 转移 http://v2ex.com/t/65589#reply21

这个帖子有不少思路

各位有啥见解~~~

linux_c_py_php

1， 这种级别的项目都是有实时曲线监控的，聊天服务器内部维护在线用户数，监控平台按周期去拉统计数据展现成曲线，可以达到分钟级实时性。

2， 做独立的log server来做日实时统计，腾讯的QQ号是整形，并且以整形号段分组的，可以建立每个组的对应的log server，做内存级别的去重统计（一个哈希表的事情）以及最高在线用户数记录（一个max变量的事情).

其他: 为了避免log server在组内单点，需要做至少一个热备，或者参考redis或者参考mysql。
redis: slave启动后同步master内存镜像，完成后将同步期间以及之后的操作异步传送slave。
mysql: master操作内存前写磁盘log，slave则请求master同步磁盘log。

但如果是master和slave之间网络坏了，那就比较蛋疼了。

至于故障转移，不仅要转移，还要保证可以进行写操作，就更难做了。