免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 11507 | 回复: 26

[其他] Hadoop的未来在哪里 [复制链接]

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2016-01-13 21:40 |显示全部楼层
获奖名单已公布:http://bbs.chinaunix.net/thread-4241882-1-1.html

话题背景
      随着Spark的流行,Hadoop尤其是MapReduce进一步被快速的替代,越来越多的公司采用spark作为主流计算平台,随着内存越来越便宜且越来越大,基于内存计算已经成为主流,而MapReduce作为基于磁盘的计算缺陷很明显,整个性能无法再大幅度提升,Hadoop的底层存储HDFS从架构和性能也被广泛诟病,Google在2009年在Caffeine就已经宣称采用GFS2替代2003年公布的GFS,而HDFS是基于老的GFS,在存储上受到CEPH、MapR等众多的挑战,此外,Hadoop的YARN的资源管理和调度框架也受到mesos/docker的冲击,总的说来,分布式计算框架热点已经从MapReduce转移到Spark,你对此有何想法?欢迎参与本期话题:MapReduce或YARN的未来在哪里?



讨论话题
1、MapReduce的主要应用领域在哪里?在哪些场合被取代可能性不高?
2、对比YARN和Mesos的优势和劣势,以及YARN框架未来的发展方向?
3、HDFS缺少哪些你需要的特性,或者你比较喜欢其哪一个特性,也可以谈谈您比较看好哪个存储系统,为什么?
4、Hadoop从业者应该如何进行职业规划?



活动时间
2016年1月14日--2016年2月14日



活动奖励
活动结束后将选取4名讨论精彩的童鞋,每人赠送一本《精通Hadoop》图书作为奖励。



奖品简介
zcover.jpg
作者: (印) Sandeep Karanth   
译者: 刘淼 唐觊隽 陈智威
丛书名: 图灵程序设计丛书
出版社:人民邮电出版社
出版日期:2016 年1月
开本:16开
页码:268
版次:1-1


内容简介
这本高阶教程将通过大量示例帮助你精通Hadoop,掌握Hadoop实践和技巧。主要内容包括:Hadoop MapReduce、Pig 和Hive 优化策略,YARN 审读剖析,如何利用Storm,等等。如果你熟悉Hadoop,并想将自己的技能再提高一个层次,本书是你的不二之选。



试读样章
精通Hadoop--第一章.docx (307.82 KB, 下载次数: 12)

论坛徽章:
3
IT运维版块每日发帖之星
日期:2015-12-05 06:20:00数据库技术版块每日发帖之星
日期:2015-12-05 06:20:00luobin
日期:2016-06-17 17:46:36
发表于 2016-01-15 08:08 |显示全部楼层
占个位置

论坛徽章:
8
数据库技术版块每日发帖之星
日期:2015-12-22 06:20:00平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2016-01-21 06:20:00IT运维版块每日发帖之星
日期:2016-02-03 06:20:00技术图书徽章
日期:2016-02-03 16:35:252016猴年福章徽章
日期:2016-02-18 15:30:34shanzhi
日期:2016-06-17 17:59:31JAVA
日期:2016-10-25 16:16:28
发表于 2016-01-15 15:57 |显示全部楼层
书 不错   

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2016-01-15 17:13 |显示全部楼层
占个位置,待更新............

论坛徽章:
30
CU大牛徽章
日期:2013-05-20 10:45:13数据库技术版块每日发帖之星
日期:2015-09-07 06:20:00每日论坛发贴之星
日期:2015-09-07 06:20:00每日论坛发贴之星
日期:2015-09-07 06:20:00数据库技术版块每日发帖之星
日期:2015-12-13 06:20:0015-16赛季CBA联赛之江苏
日期:2016-03-03 11:56:13IT运维版块每日发帖之星
日期:2016-03-06 06:20:00fulanqi
日期:2016-06-17 17:54:25IT运维版块每日发帖之星
日期:2016-07-23 06:20:0015-16赛季CBA联赛之佛山
日期:2016-08-11 18:06:41JAVA
日期:2016-10-25 16:09:072017金鸡报晓
日期:2017-01-10 15:13:29
发表于 2016-01-15 17:18 |显示全部楼层
本帖最后由 jieforest 于 2016-02-03 16:57 编辑

占位参与先。

1、MapReduce的主要应用领域在哪里?在哪些场合被取代可能性不高?
MapReduce的主要应用场景有这么几个:
1)数据分析
2)网络爬虫
3)全文索引
4)等级/积分系统
5)数据挖掘
6)像Facebook或Twitter这样的社交网络业务
7)媒体和娱乐服务(国外的Netflix和Hulu就是这么干的)
8)电子商务网站(Amazon、eBay等使用MapReduce分析用户的兴趣和购买习惯)
9)欺诈检测和财务分析
10)精准广告推送

2、对比YARN和Mesos的优势和劣势,以及YARN框架未来的发展方向?
YARN和Mesos都是集群上的通用资源管理器,为上层应用提供统一的资源管理和调度,为集群改进了利用率,提供了统一的资源管理功能,实现了数据共享功能。
YARN没怎么用,Mesos在使用,觉得很强大,功能足够。
YARN的优势在于向后的兼容性,支持那些已经上线很久的Hadoop老系统。
以前的YARN存在ResourceManager单点故障的问题,不知道现在解决了没有。

3、HDFS缺少哪些你需要的特性,或者你比较喜欢其哪一个特性,也可以谈谈您比较看好哪个存储系统,为什么?
到没什么特别的想法。
HDFS引入了内存缓存,这一点挺让我高兴的。

4、Hadoop从业者应该如何进行职业规划?
这一点没什么高明见解。
我觉得Hadoop工程师不应只专注于技术,而应该多关心业务,技术是为业务服务的,多从业务的角度来思考解决方案,或许更容易干出成绩。

论坛徽章:
7
2015年中国系统架构师大会
日期:2015-06-26 14:01:38技术图书徽章
日期:2015-12-15 16:42:2715-16赛季CBA联赛之辽宁
日期:2015-12-16 11:01:33shanzhi
日期:2016-06-17 17:59:312017金鸡报晓
日期:2017-01-10 15:19:562017金鸡报晓
日期:2017-02-08 10:39:42
发表于 2016-01-16 17:02 |显示全部楼层
spark效率比较高,MR会被替代,只是时间问题而已。

论坛徽章:
20
程序设计版块每日发帖之星
日期:2015-10-11 06:20:0015-16赛季CBA联赛之山东
日期:2016-05-28 18:18:5615-16赛季CBA联赛之新疆
日期:2017-04-12 22:55:4715-16赛季CBA联赛之青岛
日期:2017-06-26 18:30:0315-16赛季CBA联赛之四川
日期:2017-09-04 12:27:0315-16赛季CBA联赛之福建
日期:2018-02-09 14:28:3315-16赛季CBA联赛之同曦
日期:2018-04-17 12:43:3415-16赛季CBA联赛之浙江
日期:2018-07-14 13:27:4015-16赛季CBA联赛之吉林
日期:2018-09-13 15:48:2915-16赛季CBA联赛之新疆
日期:2016-05-07 05:05:3215-16赛季CBA联赛之八一
日期:2016-03-14 12:32:06程序设计版块每日发帖之星
日期:2015-12-12 06:20:00
发表于 2016-01-16 17:12 |显示全部楼层
各有千秋,就像shell和python,perl一样。没有好坏,只能根据应用场景来决定你使用什么更好

论坛徽章:
7
IT运维版块每日发帖之星
日期:2015-08-29 06:20:00IT运维版块每日发帖之星
日期:2015-08-29 06:20:00平安夜徽章
日期:2015-12-26 00:06:30技术图书徽章
日期:2016-02-03 16:35:252016猴年福章徽章
日期:2016-02-18 15:30:34fulanqi
日期:2016-06-17 17:54:25C
日期:2016-10-25 16:08:32
发表于 2016-01-17 11:28 |显示全部楼层
顶, 好书 .....

论坛徽章:
53
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2016-01-18 14:24 |显示全部楼层
啥肚皮,我还没有哈肚皮过呢。

招聘 : 技术经理
论坛徽章:
1
15-16赛季CBA联赛之天津
日期:2016-04-11 15:02:23
发表于 2016-01-19 16:34 |显示全部楼层
没有那么说的那么夸张吧,虽然我不是搞技术的,但是最近我手上在招的一些职位都是要求懂hadoop的,比如hadoop工程师、算法工程师等,这可以看出很多企业还是在用这方面的技术。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP