三里屯摇滚 发表于 2012-02-16 19:43

foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)

foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)







foursquare 作为当下最火热的LBS应用,其checkin数据在去年已经达到了4亿次,面对庞大的数据,他们搭建了一套数据分析系统。本文就是对此系统的一个介绍。

原文链接:http://goo.gl/lfwlg

先上高清大图:



•分析系统利用Hadoop 的Map/Reduce 功能来进行数据分析,多台机器组成集群进行并行计算。
•在Hadoop上层用Hive 完成数据接口转换功能。Hive 是一个将Hadoop封闭成类似于SQL数据库的中间层组件。
•在用户与数据分析中间,是一个由Redis,MongoDB 和 Rails 组成的数据服务器,它充当获取数据的中间角色,让数据分析系统与用户完全分离。

冰释一片天 发表于 2012-02-17 22:28

谢谢分享
页: [1]
查看完整版本: foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)