Chinaunix
标题:
SACC 2014现场报道:Spark生态系统与内核剖析
[打印本页]
作者:
4nianyici
时间:
2014-09-18 14:38
标题:
SACC 2014现场报道:Spark生态系统与内核剖析
2014年9月17日,第六届中国系统架构师大会SACC 2014在北京五洲皇冠国际酒店隆重召开。本次大会以“发现架构之美”为主题,大会三天来自百度、腾讯、阿里巴巴、京东、淘宝、天猫、网易、58同城、奇虎360、爱奇艺、美团、唯品会、滴滴、银行等知名互联网企业与初创企业的资深架构师与IT大牛将在悉数到场,探讨最具前瞻性的行业趋势与技术热点,分享架构在企业中的最佳实践,共同领略架构之美。
9月17日下午专场3,来自皮皮网数据平台经理陈超为我们发表了主题为《Spark生态系统与内核剖析》的精彩演讲。Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
皮皮网陈超.jpg
(21.96 KB, 下载次数: 74)
下载附件
2014-09-18 14:37 上传
本文详细报道,请进入>>
http://tech.it168.com/a2014/0917/1667/000001667170.shtml
欢迎光临 Chinaunix (http://bbs.chinaunix.net/)
Powered by Discuz! X3.2