【大话IT】互联网大数据应用：PowerLinux能巅覆x86性能吗？

zhaopingzi

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
        大数据分析基本都是NOsql,我习惯使用SQL
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
        买好硬件。大把花钱
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
        买性价比高的硬件
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
    不会。以前用的好好的，为什么要迁移

zhangdiandong

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
  主要面对问题大数据容量的存储，大规模并发量的快速处理，及数据库与程序之间读写执行的效率
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
  采用分布式处理，提高并行运行处理效率，优化存储及提高执行的效率
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
  采购计划统一性 平台的可扩展性 ，需要与采购商进行方案的沟通，同时需要关注到部门员工的it技能是否能达到要求，进而还需要针对公司的整体资产更新规划及业务的法阵需要
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会考虑测试，但是需要针对目前业务需要作出明确的计划列表，而且要根据整体的软硬件采购规划考虑是否在业务发展需要时进行迁移

realkid4

拙见如下：
1、在硬件产品日趋廉价、优秀开源软件日益流行的今天。进行大数据、数据挖掘分析最大的问题在于业务导向。老实说，传统行业的业务人员普遍满足于报表和简单查询系统。以研究分析为目的，大数据和数据挖掘为手段的建设项目经常遇到“归属”问题，没有业务部门、业务专家会主动承担起这部分责任。单纯依赖技术人员，是不能满足大数据的分析目的的。软硬件方面，笔者认为普遍都不是大的问题。
2、已经典的关系数据结构作为核心分析点，对于非结构和半结构数据，采用小步快走的方式开发；
3、IO、内存和事后调优团队的引入；
4、有意愿进行测试。回复 1# pipihappy8888


   

fengzhanhai

回复 1# pipihappy8888
pipi很牛叉，20秒之内抛出2个热门话题，一个是大数据，一个是云计算O(∩_∩)O哈哈~我必须得力顶一下啊~~
目前我们的团队正在测试Hadoop大数据平台，我也有幸参与之中，现在最棘手的问题是公司没有大数据方面的技术积累，更糟糕的是Hadoop不是一个开箱即用的产品，需要二次开发定制，对于我们传统IT公司来说依靠一己之力短期内无法搞定。目前找了IBM、华为、东方国信、星环等几家专业大数据解决方案公司。前期也和这几家公司进行了多次交流，感觉总是或多或少的存在一些遗憾，不能切中我们的需求的痛点。通过几轮交流下来，IBM的大数据解决方案感觉相对成熟但是相对其他几家公司来讲其灵活性太差，无法为某一企业特殊场景需求进行定制。
对于硬件方面各厂商都建议使用x86物理机进行部署hadoop集群，厂商匡算出来的结果，按照我们现在的数据量需要50台机器，单机配置为cpu 32c*2.6GHz，256G内存,1,5T存储，SSD 500G感觉有点夸张~~
个人观点：对于Hadoop这类分布式计算框架来讲，单台计算机节点的可靠性不在重要，因为hadoop本身提供了容错性和可靠性的保证，所以在这一点上power架构的服务器单点的健壮性并不具备优势，且其一次性投入成本也不占据优势。若是在hadoop这类本身以廉价服务器构建超级计算集群节点为初衷的应用之上非要选择power服务器，那唯一能说服我选择power架构的服务器原因就是出于计算性的考虑而选择power。

laputa73

用power颠覆x86的性能,这个没有问题。
问题是用power颠覆x86.这个不全是软件的问题。这么多年以来,基于unix的risc阵营挑战x86, 已经几乎全军覆没，这里面或许有不少是操作系统的因素，还有x86平台的开放性，也胜过risc平台的碎片化和封闭性。
powerlinux这个方向还是好的，比死守aix强。opensolaris一样活不下去。
现在大家都转向linux, 而且cpu的厂家也洗得差不多了，基本就是IBM vs Intel, risc有可能翻盘吗？
如果IBM真的开放power的授权，向ARM学习，搞openpower,我觉得的是可能的，因为x86的开放性已经名存实亡了。
只有开放，才能极大压低成本。
问题是这个东东美国政府看的很严啊。

jackson198574

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
一直用的IBM的小型机和服务器做传统行业，包括PC和Power Linux，感觉硬件上还是非常稳定的。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
暂时还没用到这几个数据库，考虑过尝试使用闪存。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
借用皮主编第一个题目里的3个词，稳定性、拓展性和高可用，感觉都很重要，现在大数据相关的产业百花齐放，竞争激烈，稍有闪失可能就会被同类对手抢走用户。
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
接触过很多IBM的硬件产品，也遇到过很多问题，从经验上看，IBM的硬件还是很靠谱的，PowerLinux用起来感觉挺好，物美价廉。

fengzhanhai

回复 17# fengzhanhai
关于目前遇到的困难再补充以下几点：
1.数据来源分散，存在大量异构性数据，没有找到好的的手段进行标准化处理；
2.没有有效的手段保证数据的质量；
3.目前团队内部没有大数据技术专家与数据分析师复合型人才，无法充分挖掘、洞察当前数据的价值，只能跟在厂商屁股后面；
4.团队技术薄弱................................

   

limit001g

吐槽吐槽 ，下面的技术讲解视频不够好， 噪声大，内容听不太清楚，看了开头就直接关闭了，是不是可以请IBM相关技术人员专门录制一段产品讲解视频呢。这样对论坛、论坛参与人员以及厂家是有益的啊。（不知道是不是因为涉密了， 我想不至于吧。）
Power体验营”([llurl]htt://topic.it168.com/game/ibm1505v1/[/,,url])观看IBM工程师的技术讲解视频。

pipihappy8888

很是安慰哦！回复 17# fengzhanhai


   

pipihappy8888

哈哈，改天有机会再弄个新的体验营，超清视频！回复 21# limit001g