免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4087 | 回复: 1

[Hadoop&HBase] MongoDB+Hadoop构建MapReduce运算系统 [复制链接]

论坛徽章:
0
发表于 2012-02-23 19:11 |显示全部楼层
MongoDB+Hadoop构建MapReduce运算系统





Hadoop 是一个开源的分布式的并行计算系统,其Map/Reduce 运算功能被广泛地应用在数据分析领域。mongo-hadoop 是一个将MongoDB 与Hadoop 相整合的开源工具。工具作者是10gen 的工程师,本文即是其作者对这一工具的思想及使用的介绍。

项目地址:https://github.com/mongodb/mongo-hadoop

文中关于为何不直接利用MongoDB的Map/Reduce 功能的回答:

必须Javascript语法(个人认为这个无所谓,JS通俗易懂)
Javascript引擎的实现导致一个实例只能运行一个Map/Reduce线程
除非使用Sharding,否则MongoDB无法进行真正的并行Map/Reduce运算
下面是完整slide:

The elephant in the room mongo db + hadoop

论坛徽章:
0
发表于 2012-02-24 17:03 |显示全部楼层
谢谢分享
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP