SACC 2014现场报道:Spark生态系统与内核剖析

4nianyici

　2014年9月17日，第六届中国系统架构师大会SACC 2014在北京五洲皇冠国际酒店隆重召开。本次大会以“发现架构之美”为主题，大会三天来自百度、腾讯、阿里巴巴、京东、淘宝、天猫、网易、58同城、奇虎360、爱奇艺、美团、唯品会、滴滴、银行等知名互联网企业与初创企业的资深架构师与IT大牛将在悉数到场，探讨最具前瞻性的行业趋势与技术热点，分享架构在企业中的最佳实践，共同领略架构之美。

　　9月17日下午专场3，来自皮皮网数据平台经理陈超为我们发表了主题为《Spark生态系统与内核剖析》的精彩演讲。Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

本文详细报道，请进入>> http://tech.it168.com/a2014/0917/1667/000001667170.shtml