忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12
最近访问板块 发新帖
楼主: jieforest

[Spark] [话题讨论]Spark到底有多么高大上? [复制链接]

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-03-12 06:20:00
发表于 2016-03-09 15:35 |显示全部楼层
1、Spark在大数据领域的影响力越来越强,采用Spark解决方案的公司也越来越多,那么问题来了,为什么我们国家搞不出Spark这样的技术?为什么高大上的技术大多在美国?
其他两个都不怎么会,我就回答下这个吧。
我想这个应该是技术的积累以及现在社会环境的背景。
国外可以鼓捣出hadoop、spark、storm这类技术,首先应该是国外在这方面技术以及走的很远很深了,
有一个这方面的基础,才能找到一批这样的人才去鼓捣。而且我们现在的社会环境太过浮躁了。鼓捣出一个这样实用的
技术,从耗时,以及在国内产生的收益来看,这都不是我们可以接受的。
我们比较喜欢收获看的到,拿得到手的钱。而且你耗时耗力做出来的一个东西,很快别人就上手,超越你了,
这样会让人感觉费力不讨好。
不过随着我们技术,以及社会的发展,未来这样高大上的技术也会出现在我们国家的。

评分

参与人数 1信誉积分 +5 收起 理由
jieforest + 5 很给力!

查看全部评分

论坛徽章:
0
发表于 2016-03-10 10:55 |显示全部楼层
为什么我们国家做不出spark,这种问题真不适合在技术版面上讨论,没啥意义。
Scala语言没太仔细研究过,不过有什么必要一个一个地发明新的语言。 什么叫java学习曲线高?  学计算机专业的有哪个不懂C或Java的,一遍遍学习新的语言,新的语法,而实质功能是其实是一样的,这是不是有些浪费时间啊?

论坛徽章:
15
2015七夕节徽章
日期:2015-08-21 11:06:172017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:07:30shanzhi
日期:2016-06-17 17:59:3115-16赛季CBA联赛之四川
日期:2016-04-13 14:36:562016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-01-28 06:20:0015-16赛季CBA联赛之新疆
日期:2016-01-25 14:01:34IT运维版块每周发帖之星
日期:2016-01-07 23:04:26数据库技术版块每日发帖之星
日期:2016-01-03 06:20:00数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00IT运维版块每日发帖之星
日期:2015-11-10 06:20:00
发表于 2016-03-10 13:08 |显示全部楼层
本帖最后由 heguangwu 于 2016-03-10 14:20 编辑

1、Spark在大数据领域的影响力越来越强,采用Spark解决方案的公司也越来越多,那么问题来了,为什么我们国家搞不出Spark这样的技术?为什么高大上的技术大多在美国?
美国是研究到产品转化最多最成功的国家,原因是多方面的,从我了解的的信息总结如下,如有错误请轻拍
1)美国教授有全世界最优秀博士生人才和自由开放的研究氛围,很多教授可以做专心一个事情五六年,且在前两三年都没有论文产出,如果是中国估计早就慌张了
2)教授毕业的博士生大多去了美国的科技大公司,后面和导师及团队联系比较紧密,所以工业级和学术界没有隔膜
3)良好的产业环境,美国教授可以保留教职投身工业界,我记得好像是3年,而且这个是有多次的,比如spark的UC Berkeley AMP lab这帮人,mit的Mike Stonebraker等等
4)良好的投资环境和知识产权保护,风投一般都看好并投入了大量的钱支撑再加上硅谷大量的人才,同时风投和工业圈关系很好,很容易形成一股技术潮流,而不会被人恶意模仿

3、在Spark开发中使用Scala好?还是使用Java好?你的理由是?
看自己熟悉那样,当前看来还是scala配合好一点,Java也能用,但使用起来还是比较别扭

评分

参与人数 1信誉积分 +5 收起 理由
jieforest + 5 赞一个!

查看全部评分

论坛徽章:
0
发表于 2016-03-10 14:21 |显示全部楼层
回复 1# jieforest


   

论坛徽章:
6
数据库技术版块每日发帖之星
日期:2015-11-27 06:20:00程序设计版块每日发帖之星
日期:2015-12-01 06:20:00每日论坛发贴之星
日期:2015-12-01 06:20:0015-16赛季CBA联赛之佛山
日期:2017-03-26 23:38:0315-16赛季CBA联赛之江苏
日期:2017-07-17 10:08:4415-16赛季CBA联赛之北京
日期:2018-03-04 17:01:50
发表于 2016-03-10 22:01 |显示全部楼层
当数据越来越多时,spk就成了。

论坛徽章:
0
发表于 2016-03-14 10:14 |显示全部楼层
TranzAlpine是1910年牛顿家族在新西兰南岛阿什伯顿创建的百年家族企业。百年老字号,百分百新西兰有机认证麦卢卡-卡玛西混合蜂蜜。本天然野生混合丛林蜂蜜是由我们的蜂蜜在最佳收成时机采集的。它们的采集时机上佳,蜂蜜由混合麦卢卡与卡玛西花粉一起制成。

   

论坛徽章:
3
15-16赛季CBA联赛之同曦
日期:2016-03-15 17:09:4315-16赛季CBA联赛之新疆
日期:2016-04-18 14:21:37shanzhi
日期:2016-06-17 17:59:31
发表于 2016-03-15 17:14 |显示全部楼层
1、Spark在大数据领域的影响力越来越强,采用Spark解决方案的公司也越来越多,那么问题来了,为什么我们国家搞不出Spark这样的技术?为什么高大上的技术大多在美国?
这就是技术的沉淀了,一步领先步步领先。

2、请对比分析MLlib库与Apache Mahout库
它们主要的区别是来自底层的框架。若Mahout主要是Hadoop MapReduce框架,而MLib则是Spark。更具体的说就是它们工作负载的差异。如果将你的ML算法映射到单一的MR时,它们主要的区别是启动所耗费的时间,Hadoop MR需要耗费几十秒,而Spark仅仅只需要1秒钟。
倘若将你的算法映射到大量的任务的时候则会有很大的不同,在这种情况下,倘若对于每次迭代具有相同的差异,请看下面的例子
假设需要100次迭代,每次需要CPU运行5秒:
Spark:总共需要花费100*5+100*1=600秒
Hadoop:总共需要花费100*5+100*30=3500秒

3、在Spark开发中使用Scala好?还是使用Java好?你的理由是?
Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集,所以还是用Scala好!

说明:可任选1题或多题回答,回答越有深度越容易中奖。

论坛徽章:
3
IT运维版块每日发帖之星
日期:2015-12-05 06:20:00数据库技术版块每日发帖之星
日期:2015-12-05 06:20:00luobin
日期:2016-06-17 17:46:36
发表于 2016-03-21 09:52 |显示全部楼层
好               

论坛徽章:
3
CU十二周年纪念徽章
日期:2013-10-24 15:41:34双子座
日期:2014-03-02 00:11:39fulanqi
日期:2016-06-17 17:54:25
发表于 2016-04-03 14:37 |显示全部楼层
1、Spark在大数据领域的影响力越来越强,采用Spark解决方案的公司也越来越多,那么问题来了,为什么我们国家搞不出Spark这样的技术?为什么高大上的技术大多在美国?
从创新的视野角度来看,
其实我们国人不缺创造力,但是我们缺乏培养创造力的土壤,我们的创造形不成影响力,没人看见也没人重视。
1)我们的创新缺少深度
常见的是组合型创新,只是简单的把两个产品的功能组合在一起。这是一种应用型创新,这种创新就是别人有一个先进技术,我们拿来用在一个某个特殊场合。这种没有深度一拍脑袋就能想到的创新,没有任何技术壁垒也很容易被别人复制甚至超越。
2)我们的创新难以形成产业规模
一个产业只有达到一定规模,带动上下游从算法研究、芯片设计、软件设计、外观设计、界面设计等各个领域的大量优秀企业参与,才能成为有纵深有影响力的创新。
3)缺少创新的环境
当今社会的创新很少是一个人闭门冥思苦想就可以做出的。一个点子从萌芽到最后产出创新成果,需要非常多的步骤。我们不擅长通过热烈的讨论把一些创新的火花逐渐做成有深度的创意,我们的企业也不擅长通过合作竞争做成一个创新。长期文化和政治生活的影响,让我们养成了习惯基于立场驱动的联盟,而不是利益驱动的合作竞争。
4)严谨科学的创新流程
一个点子在变成产品的路上需要无数次的磨合通过科学的流程才能做出成功的产品,这里没有捷径。




3、在Spark开发中使用Scala好?还是使用Java好?你的理由是?
使用两者都可以,就我而言,更喜欢使用Scala。因为
1)Scala代码更为精简,我喜欢这种精简。
2)Scala支持函数式编程,Java 8虽然也支持,但Java 8的函数式编程还很弱,远不如Scala。
3)类型安全,虽然Java是一种类型安全的语言, 但是Scala的类型显然更加安全。
要说Scala的缺点,那肯定是学习曲线比较陡峭吧。

评分

参与人数 1信誉积分 +10 收起 理由
jieforest + 10 很给力!

查看全部评分

论坛徽章:
5
IT运维版块每日发帖之星
日期:2016-05-25 06:20:00每日论坛发贴之星
日期:2016-05-25 06:20:00IT运维版块每日发帖之星
日期:2016-05-29 06:20:00数据库技术版块每日发帖之星
日期:2016-06-01 06:20:00每日论坛发贴之星
日期:2016-06-01 06:20:00
发表于 2016-05-22 18:14 |显示全部楼层
thank for you ,i'm big-brother of student,it's very well
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP