Hadoop的未来在哪里

heguangwu

获奖名单已公布：http://bbs.chinaunix.net/thread-4241882-1-1.html

话题背景
      随着Spark的流行，Hadoop尤其是MapReduce进一步被快速的替代，越来越多的公司采用spark作为主流计算平台，随着内存越来越便宜且越来越大，基于内存计算已经成为主流，而MapReduce作为基于磁盘的计算缺陷很明显，整个性能无法再大幅度提升，Hadoop的底层存储HDFS从架构和性能也被广泛诟病，Google在2009年在Caffeine就已经宣称采用GFS2替代2003年公布的GFS,而HDFS是基于老的GFS，在存储上受到CEPH、MapR等众多的挑战，此外，Hadoop的YARN的资源管理和调度框架也受到mesos/docker的冲击，总的说来，分布式计算框架热点已经从MapReduce转移到Spark，你对此有何想法？欢迎参与本期话题：MapReduce或YARN的未来在哪里？



讨论话题
1、MapReduce的主要应用领域在哪里？在哪些场合被取代可能性不高？
2、对比YARN和Mesos的优势和劣势，以及YARN框架未来的发展方向？
3、HDFS缺少哪些你需要的特性，或者你比较喜欢其哪一个特性，也可以谈谈您比较看好哪个存储系统，为什么？
4、Hadoop从业者应该如何进行职业规划？



活动时间
2016年1月14日--2016年2月14日



活动奖励
活动结束后将选取4名讨论精彩的童鞋，每人赠送一本《精通Hadoop》图书作为奖励。



奖品简介

作者： (印) Sandeep Karanth   
译者： 刘淼 唐觊隽 陈智威
丛书名： 图灵程序设计丛书
出版社：人民邮电出版社
出版日期：2016 年1月
开本：16开
页码：268
版次：1-1


内容简介
这本高阶教程将通过大量示例帮助你精通Hadoop，掌握Hadoop实践和技巧。主要内容包括：Hadoop MapReduce、Pig 和Hive 优化策略，YARN 审读剖析，如何利用Storm，等等。如果你熟悉Hadoop，并想将自己的技能再提高一个层次，本书是你的不二之选。



试读样章
精通Hadoop--第一章.docx (307.82 KB, 下载次数: 39)

2016-01-13 21:48 上传

点击文件名下载附件

王江玉

占个位置

sjf0115

书 不错   

qingduo04

占个位置，待更新............

bfmo

spark效率比较高，MR会被替代，只是时间问题而已。

baby_神

各有千秋，就像shell和python,perl一样。没有好坏，只能根据应用场景来决定你使用什么更好

demilich

顶， 好书 .....

renxiao2003

啥肚皮，我还没有哈肚皮过呢。

Steddywr

没有那么说的那么夸张吧，虽然我不是搞技术的，但是最近我手上在招的一些职位都是要求懂hadoop的，比如hadoop工程师、算法工程师等，这可以看出很多企业还是在用这方面的技术。

cokeboL

1、MapReduce的主要应用领域在哪里？在哪些场合被取代可能性不高？
     主要应用在大数据处理、分析。新版本好像已经不再继续支持MapReduce了，性能相比Spark之类太差，被Spark取代几乎是必然了。
2、对比YARN和Mesos的优势和劣势，以及YARN框架未来的发展方向？
     Yarn和Mesos我都没怎么用，在hadoop几个技术群里聊，Mesos似乎更优秀，也是未来大势所趋的样子。
3、HDFS缺少哪些你需要的特性，或者你比较喜欢其哪一个特性，也可以谈谈您比较看好哪个存储系统，为什么？
     缺少的特性就是，我不喜欢java，希望能对python提供编程接口，虽然streaming可以使用各种语言处理大数据，但是文件系统相关的
     编程接口只支持java，也是很虐心。功能上，作为分布式文件系统，还好了，挺全面的没遇到什么缺的。喜欢的特性，当然是命令和shell
     很像，容易入门和使用
4、Hadoop从业者应该如何进行职业规划？
     个人觉得hadoop本身只有hdfs能持久，MR会逐渐被Spark取代，hdfs相关的业务，可能只是两大部分：一是运维， 二是存储相关的开发。
     这两个方向的iter自然需要去学习和实战相关知识。
     另外，各大行业数据相关的业务，如数据处理、分析的人员需求会更多些，而需要的专业知识和算法要求也更高些，可以在数据挖掘上多深入
     研究下。