Hadoop的未来在哪里

heguangwu

获奖名单已公布：http://bbs.chinaunix.net/thread-4241882-1-1.html

话题背景
      随着Spark的流行，Hadoop尤其是MapReduce进一步被快速的替代，越来越多的公司采用spark作为主流计算平台，随着内存越来越便宜且越来越大，基于内存计算已经成为主流，而MapReduce作为基于磁盘的计算缺陷很明显，整个性能无法再大幅度提升，Hadoop的底层存储HDFS从架构和性能也被广泛诟病，Google在2009年在Caffeine就已经宣称采用GFS2替代2003年公布的GFS,而HDFS是基于老的GFS，在存储上受到CEPH、MapR等众多的挑战，此外，Hadoop的YARN的资源管理和调度框架也受到mesos/docker的冲击，总的说来，分布式计算框架热点已经从MapReduce转移到Spark，你对此有何想法？欢迎参与本期话题：MapReduce或YARN的未来在哪里？



讨论话题
1、MapReduce的主要应用领域在哪里？在哪些场合被取代可能性不高？
2、对比YARN和Mesos的优势和劣势，以及YARN框架未来的发展方向？
3、HDFS缺少哪些你需要的特性，或者你比较喜欢其哪一个特性，也可以谈谈您比较看好哪个存储系统，为什么？
4、Hadoop从业者应该如何进行职业规划？



活动时间
2016年1月14日--2016年2月14日



活动奖励
活动结束后将选取4名讨论精彩的童鞋，每人赠送一本《精通Hadoop》图书作为奖励。



奖品简介

作者： (印) Sandeep Karanth   
译者： 刘淼 唐觊隽 陈智威
丛书名： 图灵程序设计丛书
出版社：人民邮电出版社
出版日期：2016 年1月
开本：16开
页码：268
版次：1-1


内容简介
这本高阶教程将通过大量示例帮助你精通Hadoop，掌握Hadoop实践和技巧。主要内容包括：Hadoop MapReduce、Pig 和Hive 优化策略，YARN 审读剖析，如何利用Storm，等等。如果你熟悉Hadoop，并想将自己的技能再提高一个层次，本书是你的不二之选。



试读样章
精通Hadoop--第一章.docx (307.82 KB, 下载次数: 39)

2016-01-13 21:48 上传

点击文件名下载附件

heguangwu

现在大的公司都逐步采用Spark了，当然并不是说不用MapReduce，当前情况是并存
回复 10# Steddywr


   

heguangwu

哪个新版本好像已经不再继续支持MapReduce了？
hadoop本身只有hdfs能持久，你认为yarn本身有什么问题吗？MapReduce只是Hadoop的一个内置分布式计算框架，Hadoop本身是可以支持多种计算架构，如spark、storm
回复 11# cokeboL


   

heguangwu

HDFS supported  Heterogeneous Storage Tiers since 2.6, for SSD storage tier, Memory as a storage tier (beta).
Hdfs balance is  node-based,not disk-based

回复 12# wenhq


   

heguangwu

MapReduce如果架构不变，基本没有改进空间了，这也就是为什么hortonworks搞Tez的原因
回复 16# cokeboL


   

heguangwu

yarn的调度确实不可能做到十全十美，但mesos调度感觉更粗啊，显示的情况感觉应该是要多种调度器来解决问题比较好
回复 21# wenhq


   

heguangwu

spark on yarn的问题更多的是spark走的太快了
回复 19# wenhq