
平台论坛博客文库

› 论坛 › IT运维 › Hadoop和大数据技术 › foursquare 的数据分析系统（Hadoop+Hive+Redis+MongoDB ...

[Hive] foursquare 的数据分析系统（Hadoop+Hive+Redis+MongoDB） [复制链接]

三里屯摇滚

家境小康

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-02-16 19:43 |只看该作者 |倒序浏览

foursquare 的数据分析系统（Hadoop+Hive+Redis+MongoDB）

foursquare 作为当下最火热的LBS应用，其checkin数据在去年已经达到了4亿次，面对庞大的数据，他们搭建了一套数据分析系统。本文就是对此系统的一个介绍。

原文链接：http://goo.gl/lfwlg

先上高清大图：

•分析系统利用Hadoop 的Map/Reduce 功能来进行数据分析，多台机器组成集群进行并行计算。
•在Hadoop上层用Hive 完成数据接口转换功能。Hive 是一个将Hadoop封闭成类似于SQL数据库的中间层组件。
•在用户与数据分析中间，是一个由Redis，MongoDB 和 Rails 组成的数据服务器，它充当获取数据的中间角色，让数据分析系统与用户完全分离。

冰释一片天

稍有积蓄

论坛徽章:: 0

2楼 [报告]

发表于 2012-02-17 22:28 |只看该作者

谢谢分享

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › IT运维 › Hadoop和大数据技术 › foursquare 的数据分析系统（Hadoop+Hive+Redis+MongoDB ...