foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)
foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)foursquare 作为当下最火热的LBS应用,其checkin数据在去年已经达到了4亿次,面对庞大的数据,他们搭建了一套数据分析系统。本文就是对此系统的一个介绍。
原文链接:http://goo.gl/lfwlg
先上高清大图:
•分析系统利用Hadoop 的Map/Reduce 功能来进行数据分析,多台机器组成集群进行并行计算。
•在Hadoop上层用Hive 完成数据接口转换功能。Hive 是一个将Hadoop封闭成类似于SQL数据库的中间层组件。
•在用户与数据分析中间,是一个由Redis,MongoDB 和 Rails 组成的数据服务器,它充当获取数据的中间角色,让数据分析系统与用户完全分离。
谢谢分享
页:
[1]