免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 16542 | 回复: 27

[其他] Hadoop的未来在哪里 [复制链接]

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2016-01-13 21:40 |显示全部楼层
获奖名单已公布:http://bbs.chinaunix.net/thread-4241882-1-1.html

话题背景
      随着Spark的流行,Hadoop尤其是MapReduce进一步被快速的替代,越来越多的公司采用spark作为主流计算平台,随着内存越来越便宜且越来越大,基于内存计算已经成为主流,而MapReduce作为基于磁盘的计算缺陷很明显,整个性能无法再大幅度提升,Hadoop的底层存储HDFS从架构和性能也被广泛诟病,Google在2009年在Caffeine就已经宣称采用GFS2替代2003年公布的GFS,而HDFS是基于老的GFS,在存储上受到CEPH、MapR等众多的挑战,此外,Hadoop的YARN的资源管理和调度框架也受到mesos/docker的冲击,总的说来,分布式计算框架热点已经从MapReduce转移到Spark,你对此有何想法?欢迎参与本期话题:MapReduce或YARN的未来在哪里?



讨论话题
1、MapReduce的主要应用领域在哪里?在哪些场合被取代可能性不高?
2、对比YARN和Mesos的优势和劣势,以及YARN框架未来的发展方向?
3、HDFS缺少哪些你需要的特性,或者你比较喜欢其哪一个特性,也可以谈谈您比较看好哪个存储系统,为什么?
4、Hadoop从业者应该如何进行职业规划?



活动时间
2016年1月14日--2016年2月14日



活动奖励
活动结束后将选取4名讨论精彩的童鞋,每人赠送一本《精通Hadoop》图书作为奖励。



奖品简介
zcover.jpg
作者: (印) Sandeep Karanth   
译者: 刘淼 唐觊隽 陈智威
丛书名: 图灵程序设计丛书
出版社:人民邮电出版社
出版日期:2016 年1月
开本:16开
页码:268
版次:1-1


内容简介
这本高阶教程将通过大量示例帮助你精通Hadoop,掌握Hadoop实践和技巧。主要内容包括:Hadoop MapReduce、Pig 和Hive 优化策略,YARN 审读剖析,如何利用Storm,等等。如果你熟悉Hadoop,并想将自己的技能再提高一个层次,本书是你的不二之选。



试读样章
精通Hadoop--第一章.docx (307.82 KB, 下载次数: 39)

论坛徽章:
3
IT运维版块每日发帖之星
日期:2015-12-05 06:20:00数据库技术版块每日发帖之星
日期:2015-12-05 06:20:00luobin
日期:2016-06-17 17:46:36
发表于 2016-01-15 08:08 |显示全部楼层
占个位置

论坛徽章:
8
数据库技术版块每日发帖之星
日期:2015-12-22 06:20:00平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2016-01-21 06:20:00IT运维版块每日发帖之星
日期:2016-02-03 06:20:00技术图书徽章
日期:2016-02-03 16:35:252016猴年福章徽章
日期:2016-02-18 15:30:34shanzhi
日期:2016-06-17 17:59:31JAVA
日期:2016-10-25 16:16:28
发表于 2016-01-15 15:57 |显示全部楼层
书 不错   

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2016-01-15 17:13 |显示全部楼层
占个位置,待更新............

论坛徽章:
7
2015年中国系统架构师大会
日期:2015-06-26 14:01:38技术图书徽章
日期:2015-12-15 16:42:2715-16赛季CBA联赛之辽宁
日期:2015-12-16 11:01:33shanzhi
日期:2016-06-17 17:59:312017金鸡报晓
日期:2017-01-10 15:19:562017金鸡报晓
日期:2017-02-08 10:39:42
发表于 2016-01-16 17:02 |显示全部楼层
spark效率比较高,MR会被替代,只是时间问题而已。

论坛徽章:
20
程序设计版块每日发帖之星
日期:2015-10-11 06:20:0015-16赛季CBA联赛之山东
日期:2016-05-28 18:18:5615-16赛季CBA联赛之新疆
日期:2017-04-12 22:55:4715-16赛季CBA联赛之青岛
日期:2017-06-26 18:30:0315-16赛季CBA联赛之四川
日期:2017-09-04 12:27:0315-16赛季CBA联赛之福建
日期:2018-02-09 14:28:3315-16赛季CBA联赛之同曦
日期:2018-04-17 12:43:3415-16赛季CBA联赛之浙江
日期:2018-07-14 13:27:4015-16赛季CBA联赛之吉林
日期:2018-09-13 15:48:2915-16赛季CBA联赛之新疆
日期:2016-05-07 05:05:3215-16赛季CBA联赛之八一
日期:2016-03-14 12:32:06程序设计版块每日发帖之星
日期:2015-12-12 06:20:00
发表于 2016-01-16 17:12 |显示全部楼层
各有千秋,就像shell和python,perl一样。没有好坏,只能根据应用场景来决定你使用什么更好

论坛徽章:
7
IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00平安夜徽章
日期:2015-12-26 00:06:30技术图书徽章
日期:2016-02-03 16:35:252016猴年福章徽章
日期:2016-02-18 15:30:34fulanqi
日期:2016-06-17 17:54:25C
日期:2016-10-25 16:08:32
发表于 2016-01-17 11:28 |显示全部楼层
顶, 好书 .....

论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2016-01-18 14:24 |显示全部楼层
啥肚皮,我还没有哈肚皮过呢。

招聘 : 技术经理
论坛徽章:
1
15-16赛季CBA联赛之天津
日期:2016-04-11 15:02:23
发表于 2016-01-19 16:34 |显示全部楼层
没有那么说的那么夸张吧,虽然我不是搞技术的,但是最近我手上在招的一些职位都是要求懂hadoop的,比如hadoop工程师、算法工程师等,这可以看出很多企业还是在用这方面的技术。

论坛徽章:
36
子鼠
日期:2013-08-28 22:23:29黄金圣斗士
日期:2015-12-01 11:37:51程序设计版块每日发帖之星
日期:2015-12-14 06:20:00CU十四周年纪念徽章
日期:2015-12-22 16:50:40IT运维版块每日发帖之星
日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳
日期:2016-01-27 10:31:172016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建
日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛
日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控
日期:2016-06-20 17:38:50技术图书徽章
日期:2016-07-19 13:54:03程序设计版块每日发帖之星
日期:2016-08-21 06:20:00
发表于 2016-01-20 19:53 |显示全部楼层
1、MapReduce的主要应用领域在哪里?在哪些场合被取代可能性不高?
     主要应用在大数据处理、分析。新版本好像已经不再继续支持MapReduce了,性能相比Spark之类太差,被Spark取代几乎是必然了。
2、对比YARN和Mesos的优势和劣势,以及YARN框架未来的发展方向?
     Yarn和Mesos我都没怎么用,在hadoop几个技术群里聊,Mesos似乎更优秀,也是未来大势所趋的样子。
3、HDFS缺少哪些你需要的特性,或者你比较喜欢其哪一个特性,也可以谈谈您比较看好哪个存储系统,为什么?
     缺少的特性就是,我不喜欢java,希望能对python提供编程接口,虽然streaming可以使用各种语言处理大数据,但是文件系统相关的
     编程接口只支持java,也是很虐心。功能上,作为分布式文件系统,还好了,挺全面的没遇到什么缺的。喜欢的特性,当然是命令和shell
     很像,容易入门和使用
4、Hadoop从业者应该如何进行职业规划?
     个人觉得hadoop本身只有hdfs能持久,MR会逐渐被Spark取代,hdfs相关的业务,可能只是两大部分:一是运维, 二是存储相关的开发。
     这两个方向的iter自然需要去学习和实战相关知识。
     另外,各大行业数据相关的业务,如数据处理、分析的人员需求会更多些,而需要的专业知识和算法要求也更高些,可以在数据挖掘上多深入
     研究下。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP