免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4957 | 回复: 1

[Hive] foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB) [复制链接]

论坛徽章:
0
发表于 2012-02-22 16:12 |显示全部楼层
foursquare 的数据分析系统(Hadoop+Hive+Redis+MongoDB)
作者:nosqlfan on 星期三, 三月 16, 2011 · 评论本文 【阅读:2,928 次】

foursquare 作为当下最火热的LBS应用,其checkin数据在去年已经达到了4亿次,面对庞大的数据,他们搭建了一套数据分析系统。本文就是对此系统的一个介绍。

原文链接:http://goo.gl/lfwlg

先上高清大图:

InfographicBlogPost-1.png

分析系统利用Hadoop 的Map/Reduce 功能来进行数据分析,多台机器组成集群进行并行计算。
在Hadoop上层用Hive 完成数据接口转换功能。Hive 是一个将Hadoop封闭成类似于SQL数据库的中间层组件。
在用户与数据分析中间,是一个由Redis,MongoDB 和 Rails 组成的数据服务器,它充当获取数据的中间角色,让数据分析系统与用户完全分离。

论坛徽章:
0
发表于 2012-02-24 17:31 |显示全部楼层
谢谢分享
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP