忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: pipihappy8888

【大话IT】互联网大数据应用:PowerLinux能巅覆x86性能吗? [复制链接]

论坛徽章:
69
IT运维版块每日发帖之星
日期:2016-07-15 06:20:00亥猪
日期:2014-06-02 11:17:08技术图书徽章
日期:2014-04-24 15:51:26技术图书徽章
日期:2014-04-17 11:01:53辰龙
日期:2014-04-15 12:45:46亥猪
日期:2014-04-11 09:06:23射手座
日期:2014-04-01 15:28:10双子座
日期:2014-04-01 10:16:43技术图书徽章
日期:2014-03-19 12:51:59寅虎
日期:2014-03-17 12:40:30天蝎座
日期:2014-03-14 15:41:31巳蛇
日期:2014-02-28 15:12:48
发表于 2015-06-03 10:26 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
        大数据分析基本都是NOsql,我习惯使用SQL
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
        买好硬件。大把花钱
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
        买性价比高的硬件
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
    不会。以前用的好好的,为什么要迁移

论坛徽章:
0
发表于 2015-06-03 13:16 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
  主要面对问题大数据容量的存储,大规模并发量的快速处理,及数据库与程序之间读写执行的效率
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
  采用分布式处理,提高并行运行处理效率,优化存储及提高执行的效率
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
  采购计划统一性 平台的可扩展性 ,需要与采购商进行方案的沟通,同时需要关注到部门员工的it技能是否能达到要求,进而还需要针对公司的整体资产更新规划及业务的法阵需要
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
会考虑测试,但是需要针对目前业务需要作出明确的计划列表,而且要根据整体的软硬件采购规划考虑是否在业务发展需要时进行迁移

论坛徽章:
0
发表于 2015-06-03 15:25 |显示全部楼层
拙见如下:
1、在硬件产品日趋廉价、优秀开源软件日益流行的今天。进行大数据、数据挖掘分析最大的问题在于业务导向。老实说,传统行业的业务人员普遍满足于报表和简单查询系统。以研究分析为目的,大数据和数据挖掘为手段的建设项目经常遇到“归属”问题,没有业务部门、业务专家会主动承担起这部分责任。单纯依赖技术人员,是不能满足大数据的分析目的的。软硬件方面,笔者认为普遍都不是大的问题。
2、已经典的关系数据结构作为核心分析点,对于非结构和半结构数据,采用小步快走的方式开发;
3、IO、内存和事后调优团队的引入;
4、有意愿进行测试。回复 1# pipihappy8888


   

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2015-06-03 22:43 |显示全部楼层
回复 1# pipihappy8888
pipi很牛叉,20秒之内抛出2个热门话题,一个是大数据,一个是云计算O(∩_∩)O哈哈~我必须得力顶一下啊~~
目前我们的团队正在测试Hadoop大数据平台,我也有幸参与之中,现在最棘手的问题是公司没有大数据方面的技术积累,更糟糕的是Hadoop不是一个开箱即用的产品,需要二次开发定制,对于我们传统IT公司来说依靠一己之力短期内无法搞定。目前找了IBM、华为、东方国信、星环等几家专业大数据解决方案公司。前期也和这几家公司进行了多次交流,感觉总是或多或少的存在一些遗憾,不能切中我们的需求的痛点。通过几轮交流下来,IBM的大数据解决方案感觉相对成熟但是相对其他几家公司来讲其灵活性太差,无法为某一企业特殊场景需求进行定制。
对于硬件方面各厂商都建议使用x86物理机进行部署hadoop集群,厂商匡算出来的结果,按照我们现在的数据量需要50台机器,单机配置为cpu 32c*2.6GHz,256G内存,1,5T存储,SSD 500G感觉有点夸张~~
个人观点:对于Hadoop这类分布式计算框架来讲,单台计算机节点的可靠性不在重要,因为hadoop本身提供了容错性和可靠性的保证,所以在这一点上power架构的服务器单点的健壮性并不具备优势,且其一次性投入成本也不占据优势。若是在hadoop这类本身以廉价服务器构建超级计算集群节点为初衷的应用之上非要选择power服务器,那唯一能说服我选择power架构的服务器原因就是出于计算性的考虑而选择power。

论坛徽章:
34
CU大牛徽章
日期:2013-04-17 11:10:17CU大牛徽章
日期:2013-09-18 15:26:10狮子座
日期:2013-09-27 17:44:07CU十二周年纪念徽章
日期:2013-10-24 15:41:34射手座
日期:2013-10-24 21:01:23辰龙
日期:2013-12-20 17:07:19狮子座
日期:2014-05-12 11:00:00寅虎
日期:2014-06-04 16:25:27IT运维版块每日发帖之星
日期:2015-08-17 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00平安夜徽章
日期:2015-12-26 00:06:30
发表于 2015-06-04 08:36 |显示全部楼层
用power颠覆x86的性能,这个没有问题。
问题是用power颠覆x86.这个不全是软件的问题。这么多年以来,基于unix的risc阵营挑战x86, 已经几乎全军覆没,这里面或许有不少是操作系统的因素,还有x86平台的开放性,也胜过risc平台的碎片化和封闭性。
powerlinux这个方向还是好的,比死守aix强。opensolaris一样活不下去。
现在大家都转向linux, 而且cpu的厂家也洗得差不多了,基本就是IBM vs Intel, risc有可能翻盘吗?
如果IBM真的开放power的授权,向ARM学习,搞openpower,我觉得的是可能的,因为x86的开放性已经名存实亡了。
只有开放,才能极大压低成本。
问题是这个东东美国政府看的很严啊。

论坛徽章:
17
技术图书徽章
日期:2014-04-29 09:09:57数据库技术版块每日发帖之星
日期:2015-12-13 06:20:00IT运维版块每日发帖之星
日期:2015-12-13 06:20:00数据库技术版块每日发帖之星
日期:2015-10-20 06:20:00数据库技术版块每日发帖之星
日期:2015-08-21 06:20:00数据库技术版块每日发帖之星
日期:2015-06-17 22:20:002015年迎新春徽章
日期:2015-03-04 09:57:092015年辞旧岁徽章
日期:2015-03-03 16:54:15技术图书徽章
日期:2015-01-12 17:05:35亥猪
日期:2014-11-09 13:05:04未羊
日期:2014-07-26 13:08:31金牛座
日期:2014-09-25 11:28:54
发表于 2015-06-04 09:22 |显示全部楼层
1、您在使用大数据分析时,碰到过哪些困扰和挑战?具体到硬件层面,您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等?
一直用的IBM的小型机和服务器做传统行业,包括PC和Power Linux,感觉硬件上还是非常稳定的。
2、为提高Hadoop、NoSQL、MongoDB的性能,您一般会采用什么样的方法?现有的方法还存在哪些不足?
暂时还没用到这几个数据库,考虑过尝试使用闪存。
3、在部署大数据方案时,您是如何进行IT硬件选型的,主要会考虑哪些因素?
借用皮主编第一个题目里的3个词,稳定性、拓展性和高可用,感觉都很重要,现在大数据相关的产业百花齐放,竞争激烈,稍有闪失可能就会被同类对手抢走用户。
4、对于IBM推出的上述大数据方案,您是否会考虑迁移测试?为什么?
接触过很多IBM的硬件产品,也遇到过很多问题,从经验上看,IBM的硬件还是很靠谱的,PowerLinux用起来感觉挺好,物美价廉。

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2015-06-04 22:18 |显示全部楼层
回复 17# fengzhanhai
关于目前遇到的困难再补充以下几点:
1.数据来源分散,存在大量异构性数据,没有找到好的的手段进行标准化处理;
2.没有有效的手段保证数据的质量;
3.目前团队内部没有大数据技术专家与数据分析师复合型人才,无法充分挖掘、洞察当前数据的价值,只能跟在厂商屁股后面;
4.团队技术薄弱................................

   

论坛徽章:
0
发表于 2015-06-05 10:45 |显示全部楼层
吐槽吐槽 ,下面的技术讲解视频不够好, 噪声大,内容听不太清楚,看了开头就直接关闭了,是不是可以请IBM相关技术人员专门录制一段产品讲解视频呢。这样对论坛、论坛参与人员以及厂家是有益的啊。(不知道是不是因为涉密了, 我想不至于吧。)
Power体验营”([llurl]htt://topic.it168.com/game/ibm1505v1/[/,,url])观看IBM工程师的技术讲解视频。

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152014年中国系统架构师大会
日期:2015-06-05 16:54:182011年中国系统架构师大会
日期:2015-06-05 16:54:392012年中国系统架构师大会
日期:2015-06-05 16:54:392013年中国系统架构师大会
日期:2015-06-05 16:54:39
发表于 2015-06-05 11:02 |显示全部楼层
很是安慰哦!回复 17# fengzhanhai


   

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152014年中国系统架构师大会
日期:2015-06-05 16:54:182011年中国系统架构师大会
日期:2015-06-05 16:54:392012年中国系统架构师大会
日期:2015-06-05 16:54:392013年中国系统架构师大会
日期:2015-06-05 16:54:39
发表于 2015-06-05 11:02 |显示全部楼层
哈哈,改天有机会再弄个新的体验营,超清视频!回复 21# limit001g


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP