免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: fengzhanhai
打印 上一主题 下一主题

[Spark] 大数据逐渐成为公司的重要的资产之一,问题是你能将资产变现吗? [复制链接]

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
21 [报告]
发表于 2015-07-09 13:03 |只看该作者
回复 17# 陌路巨额投入
回答的很仔细呀~在大数据时代,安全的确是一个非常重要的问题,这也是大数据产业的一个痛点。
能否对你所说的数据经常丢失或者入侵这样的问题产生的场景再具体描述一下,你们又对这样的问题做了哪些应对措施?

论坛徽章:
2
极客徽章
日期:2016-12-07 14:07:302017金鸡报晓
日期:2017-01-10 15:13:29
22 [报告]
发表于 2015-07-09 14:11 |只看该作者
回复 20# fengzhanhai


    开源也有不好处,就是维护起来麻烦,但是总归有个取舍。

论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
23 [报告]
发表于 2015-07-09 15:43 |只看该作者
1.关于大数据项目,您公司目前有计划实施吗?若贵公司已经计划实施大数据平台,最需要哪方面的资源支持?带来了哪些正面的影响?
我公司已经在做云和大数据了。健康云服务,大数据分析等。主要还是人力资源的投入,毕竟现在做大数据的人才比较少,公司都是从现有人员中培养。为公司增加了新的营业方向和业务线,增加新的利润点。

2.在全民大数据时代,您认为大数据的机遇有哪些?又有哪些挑战?
首先会增加大量新的就业机会,需要大量的人才。学校也可以开设相关的专业进行专业人才的培养。如果我们国家没有自己的技术积累而只是跟着别人的步伐,就怕永远要落后。同时,也怕向原来的计算机专业一样,培养出来的大数据人才还要经过专业的再培训才能上岗。

3.在实施大数据项目中遇到了哪些问题?是如何保证数据的质量的,又是如何保证结果的准确性?
数据分析不全,或者没有分析出真正有价值的数据结果。目前真的还没有太好的保证结果准确性的预案。要保证数据质量和分析结果的准确性,要加强对数据分析算法的研究和优化。

4.针对贵公司的大数据平台都需要分析哪些类型的数据,在分析非结构化的数据时又使用了哪些神器?
各种历史数据和现有数据进行分析。非结构化数据使用NOSQL进行分析。

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
24 [报告]
发表于 2015-07-09 20:09 |只看该作者
回复 22# devil3380
是的,什么问题都要一分为二的去看待,开源免费但是对团队自身能力要求较高,企业级的虽然费用较高,但是出了问题有厂商兜底~这是一个很现实的问题,所以该如何去选择,还是需要根据企业自身的实际情来看~~

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
25 [报告]
发表于 2015-07-10 12:10 |只看该作者
回复 23# renxiao2003
看待问题很全面,使用辩证的观点看待问题的方法值得大家学习借鉴。其中你提到的一个地方也算是击中了目前大数据的一个痛点,也就是数据挖掘的过程中建模的问题,目前我们也在根据我们的数据特性进行建模,但是效果不佳,训练出来的模型基本无法使用,但是支出成本巨大。现在国内大数据这个行业真的极缺乏有经验且能够将多个学科的知识融合到一起的实践人才~~
   

论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
26 [报告]
发表于 2015-07-10 14:17 |只看该作者
回复 25# fengzhanhai


    谢谢。其实我也就是“愤青”一下。谢谢你的评价。

论坛徽章:
71
15-16赛季CBA联赛之同曦
日期:2018-08-23 15:41:42辰龙
日期:2014-08-15 09:07:43狮子座
日期:2014-06-03 13:55:33亥猪
日期:2014-06-02 11:17:08巨蟹座
日期:2014-05-06 10:02:03午马
日期:2014-05-04 08:18:27亥猪
日期:2014-04-29 11:11:32技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10
27 [报告]
发表于 2015-07-10 14:51 |只看该作者
这东西分应用吗,用这玩意的很少。能用的好的更少

论坛徽章:
18
2015亚冠之阿尔希拉尔
日期:2015-06-02 09:56:10数据库技术版块每日发帖之星
日期:2016-08-13 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-03-19 06:20:00数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-12-25 06:20:35数据库技术版块每日发帖之星
日期:2015-09-12 06:20:00数据库技术版块每日发帖之星
日期:2015-09-11 06:20:00ChinaUnix专家徽章
日期:2015-06-30 16:29:48ChinaUnix专家徽章
日期:2015-06-30 16:29:342015年中国系统架构师大会
日期:2015-06-29 16:11:28
28 [报告]
发表于 2015-07-10 15:53 |只看该作者
回复 19# fengzhanhai


    话没说明白,我有点不熟悉这方面

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
29 [报告]
发表于 2015-07-10 18:28 |只看该作者
回复 28# stay_sun
大家相互切磋,共同进步~~欢迎灌水 @stay_sun
   

论坛徽章:
5
技术图书徽章
日期:2015-01-14 09:32:18IT运维版块每日发帖之星
日期:2015-10-09 06:20:00IT运维版块每日发帖之星
日期:2015-10-10 06:20:002017金鸡报晓
日期:2017-01-10 15:13:292017金鸡报晓
日期:2017-02-08 10:33:21
30 [报告]
发表于 2015-07-11 10:20 |只看该作者
1.关于大数据项目,您公司目前有计划实施吗?若贵公司已经计划实施大数据平台,最需要哪方面的资源支持?带来了哪些正面的影响?

已经实施大数据项目,在实施大数据项目的时候,需要的资源还是相当多的,毕竟失败的案例比比皆是,从人员,厂家、优秀的项目领导者、决策者等等,每一个环节都有可能影响项目的成败。对于大数据的影响我想大数据是信息化一个很重要的推动力。大数据就像黄金,它对于社会、企业和个人,都是一种核心的竞争力。他能为高层领导作出正确的决策,提供详尽有力的依据。

2.在全民大数据时代,您认为大数据的机遇有哪些?又有哪些挑战?

在大数据时代,我们面临更多的发展,通过数据的有效分析和利用,能够更快的促进企业的进步及产品质量的提升。当然在大数据来临的今天,数据安全成为了每个人都应该想到的问题,数据有了,安全问题是否能够有效的安全,是所有人关注的焦点。

3.在实施大数据项目中遇到了哪些问题?是如何保证数据的质量的,又是如何保证结果的准确性?

在这里遇到的问题主要有两点:复杂的数据计算与存储和技术的成熟度 。在数据质量保证方面,主要是要求相关人员对数据的核查,利用并进行反复的批量测试。对于结果的准确性这是一个长期的过程,尤其是前期的数据质量非常重要,数据的准确性、一致性,是后期结果准确的关键因素。

4.针对贵公司的大数据平台都需要分析哪些类型的数据,在分析非结构化的数据时又使用了哪些神器?

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V, 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。
在分析非结构化的数据时也没有什么神器,不好意思说,工具比较落后了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP