
平台论坛博客文库

› 论坛 › IT运维 › Hadoop和大数据技术 › 你不知道的Spark，将来会替代Hadoop？

[Spark] 你不知道的Spark，将来会替代Hadoop？ [复制链接]

yybmsrs

小富即安

论坛徽章:: 78

1楼 [报告]

发表于 2015-10-29 18:58 |显示全部楼层

本帖最后由 yybmsrs 于 2015-10-29 18:59 编辑

1. 有人说Spark就是内存版的MapReduce，对此你怎么看？
差不多，shuffle的时候中间数据放到内存，放不下才写文件。同时spark的抽象程度更高，不仅仅只有map和reduce。

2. 有人说Spark将来会替代Hadoop，你又怎么看？
spark是个生态系统，hadoop也是一个生态系统，不存在谁取代谁，只能说spark会取代mr。其他如hdfs，yarn都是
通用的。

另外，这两个问题实在是没什么可以多说的，虽然我很想要这本书

yybmsrs

小富即安

论坛徽章:: 78

2楼 [报告]

发表于 2015-11-03 18:41 |显示全部楼层

用到的概念接近就直接拿来开发了，scala方便点吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › IT运维 › Hadoop和大数据技术 › 你不知道的Spark，将来会替代Hadoop？