【大话IT】互联网大数据应用：PowerLinux能巅覆x86性能吗？

pipihappy8888

众所周知，互联网行业一直是大数据技术应用的主力军。随着移动社交应用、手机应用的普及应用，数据量不断增加，而大数据的核心诉求是通过追求极致性能来快速洞察数据，从而对大数据软硬件技术提出挑战，也引发了业界新的思考。比如，尽管今天绝大多数互联网企业都在使用x86服务器来做分布式系统，但为什么Google积极地参与OpenPOWER联盟来发展新的技术和产品？如果有更高性能而且更可靠的服务器，BAT们不必频繁更换配件或整机，岂不更省钱省事省人工？

我们看到，IBM的Linux on Power正带给我们一种全新的思路和选择。一方面是IBM开始走开放路线，通过推出PowerLinux服务器及OpenPOWER生态联盟，支持Linux、Hadoop、KVM、OpenStack、NoSQL等主流开源技术；另一方面，则是将POWER架构的性能与可靠性优势，与开源技术相结合，推出了一系列让人耳目一新的云和大数据解决方案。比如，CAPI+Flash+Redis的NoSQL方案解决了传统x86方案面临的内存容量不足、性能瓶颈、可靠性缺失、成本不可控、复杂性增加等挑战，将IOPs提高了6倍，延迟降低了2倍多；基于Symphony+GPFS的大数据方案兼容开源Hadoop标准，并充分利用了PowerLinux在密集型IO和密集内存访问方面的优势。

为了了解更多用户的想法，本期大话IT栏目，邀请各位大佬一起来探讨一下PowerLinux在这一领域的前景，期待大家多多参与。

如果你对Linux on Power还不了解，也没关系，可以去我们的“Power体验营”(http://topic.it168.com/game/ibm1505v1/)观看IBM工程师的技术讲解视频，再来参与讨论。

技术视频：

全堆栈Hadoop计算 认知及预测解决方案

探究Linux on Power的NoSQL解决方案

MangoDB数据库技术实战分享

讨论话题：

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？

活动时间：2015年5月28日-6月28日

活动奖励：活跃会员将赠送精美礼品一份

获奖名单：fengzhanhai 五岳之巅 help01 xkf01  zhangdiandong  minicooperrrm  realkid4 .

minicooperrrm

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
碰到的困扰和挑战主要是1、复杂的数据计算和存储 2、技术的成熟度。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
方法有：优先保证级别高的作业；单个任务内存控制；磁盘IO监控等等吧

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
统一规划：明确应用系统在规划期内的规模，对整个应用系统的模块、用户、流程进行分析，确定总体需求，从而定义出其硬件平台对应的架构和配置。
高可用性：要求硬件平台具有单点失效保护，能够实现故障预警、报警，具有良好的故障应急处理能力。如在出现有限个数的服务器、磁盘、存储设备或交换机故障等情况下，系统可以继续运行，不影响业务处理。
高扩展性：由于应用系统建设是一个长期持续的过程，日后随着公司规模扩大和业务量的增长，用户数可能会超出预期，当硬件平台的处理能力不够时，要求可以在原有架构的基础上实现灵活扩展。
高安全性：能够实现良好的信息安全能力，能够应用灵活的安全策略，如对不同用途的服务器进行安全分区以实现不同程度的隔离等。
高可维护性：维护便捷简单，尽量减少宕机时间，特别是减少进行故障修复、系统扩展和变更时的宕机时间，能够提供友好、全面的监控工具。
合适性价比：在满足需求并符合上述原则的前提下，良好的性价比是关键。各家硬件各有所长，关键是需要关注满足应用系统需求的技术，而不是一味追求先进技术，

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
如果是我，暂时不考虑，至少1-2年内不会。主要是考虑到现状，迁移的复杂性，以及技术的成熟度。

zhangdiandong

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
  主要面对问题大数据容量的存储，大规模并发量的快速处理，及数据库与程序之间读写执行的效率
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
  采用分布式处理，提高并行运行处理效率，优化存储及提高执行的效率
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
  采购计划统一性 平台的可扩展性 ，需要与采购商进行方案的沟通，同时需要关注到部门员工的it技能是否能达到要求，进而还需要针对公司的整体资产更新规划及业务的法阵需要
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会考虑测试，但是需要针对目前业务需要作出明确的计划列表，而且要根据整体的软硬件采购规划考虑是否在业务发展需要时进行迁移

realkid4

拙见如下：
1、在硬件产品日趋廉价、优秀开源软件日益流行的今天。进行大数据、数据挖掘分析最大的问题在于业务导向。老实说，传统行业的业务人员普遍满足于报表和简单查询系统。以研究分析为目的，大数据和数据挖掘为手段的建设项目经常遇到“归属”问题，没有业务部门、业务专家会主动承担起这部分责任。单纯依赖技术人员，是不能满足大数据的分析目的的。软硬件方面，笔者认为普遍都不是大的问题。
2、已经典的关系数据结构作为核心分析点，对于非结构和半结构数据，采用小步快走的方式开发；
3、IO、内存和事后调优团队的引入；
4、有意愿进行测试。回复 1# pipihappy8888


   

fengzhanhai

回复 1# pipihappy8888
pipi很牛叉，20秒之内抛出2个热门话题，一个是大数据，一个是云计算O(∩_∩)O哈哈~我必须得力顶一下啊~~
目前我们的团队正在测试Hadoop大数据平台，我也有幸参与之中，现在最棘手的问题是公司没有大数据方面的技术积累，更糟糕的是Hadoop不是一个开箱即用的产品，需要二次开发定制，对于我们传统IT公司来说依靠一己之力短期内无法搞定。目前找了IBM、华为、东方国信、星环等几家专业大数据解决方案公司。前期也和这几家公司进行了多次交流，感觉总是或多或少的存在一些遗憾，不能切中我们的需求的痛点。通过几轮交流下来，IBM的大数据解决方案感觉相对成熟但是相对其他几家公司来讲其灵活性太差，无法为某一企业特殊场景需求进行定制。
对于硬件方面各厂商都建议使用x86物理机进行部署hadoop集群，厂商匡算出来的结果，按照我们现在的数据量需要50台机器，单机配置为cpu 32c*2.6GHz，256G内存,1,5T存储，SSD 500G感觉有点夸张~~
个人观点：对于Hadoop这类分布式计算框架来讲，单台计算机节点的可靠性不在重要，因为hadoop本身提供了容错性和可靠性的保证，所以在这一点上power架构的服务器单点的健壮性并不具备优势，且其一次性投入成本也不占据优势。若是在hadoop这类本身以廉价服务器构建超级计算集群节点为初衷的应用之上非要选择power服务器，那唯一能说服我选择power架构的服务器原因就是出于计算性的考虑而选择power。

laputa73

用power颠覆x86的性能,这个没有问题。
问题是用power颠覆x86.这个不全是软件的问题。这么多年以来,基于unix的risc阵营挑战x86, 已经几乎全军覆没，这里面或许有不少是操作系统的因素，还有x86平台的开放性，也胜过risc平台的碎片化和封闭性。
powerlinux这个方向还是好的，比死守aix强。opensolaris一样活不下去。
现在大家都转向linux, 而且cpu的厂家也洗得差不多了，基本就是IBM vs Intel, risc有可能翻盘吗？
如果IBM真的开放power的授权，向ARM学习，搞openpower,我觉得的是可能的，因为x86的开放性已经名存实亡了。
只有开放，才能极大压低成本。
问题是这个东东美国政府看的很严啊。

jackson198574

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
一直用的IBM的小型机和服务器做传统行业，包括PC和Power Linux，感觉硬件上还是非常稳定的。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
暂时还没用到这几个数据库，考虑过尝试使用闪存。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
借用皮主编第一个题目里的3个词，稳定性、拓展性和高可用，感觉都很重要，现在大数据相关的产业百花齐放，竞争激烈，稍有闪失可能就会被同类对手抢走用户。
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
接触过很多IBM的硬件产品，也遇到过很多问题，从经验上看，IBM的硬件还是很靠谱的，PowerLinux用起来感觉挺好，物美价廉。

help01

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
在使用大数据分析时，遇到的一个困扰就是如何确定数据的边界。虽然大数据是要有海量的基础数据为支撑，但就算是海也有边界，如何确定这个边界其实没有定论，关键还是要实施者自己来把控。
具体到硬件层面，在拓展数据库服务器时，确保新加入数据库的稳定和性能也是难点之一。尤其当存在不同种类数据库时，在稳定性以及数据库之间互联方面需要加以注意。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
为提高性能，从硬件上来讲我会增加服务器的内存，并且考虑固态硬盘。
这些方法能一定程度上提升Hadoop、NoSQL或者MongoDB性能，但是提升空间有限，毕竟不可能无限制地购买内存和更换硬盘。而且也会受到系统架构的制约。

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
CPU通常考虑四核低功耗CPU，包括低功率的电源配置，能够支撑八核心低功耗设备。
两个六核处理器（6核12线程），可支持96个基本的虚拟机（VM），最大支持96 GB 的内存。
利用闪存驱动器启动服务器管理程序，将来可以考虑把操作系统和一些小型的服务器应用，如LAMP放到闪存当中运行。

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
暂时还不会考虑迁移测试，因为系统目前运行稳定，而且没有严重的性能瓶颈。

limit001g

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
数据量的指数级增长对存储空间要求越来大，实时分析海量的数据对计算能力要求越来越高；数据庞大，对数据库的要求更高，使得数据库出现性能瓶颈；用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高；
由于存在上面这些困扰和挑战，具体到硬件层面，在各个层面都会有一定的压力，并且在高可用性能方面的瓶颈更为突出。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
使用排序 ：分清任务的重要性，优先级高的先执行。
使用多线程：分解任务和数据，充分利用CPU的多核心多线程。
使用多个数据库 。将不同的线程结果输出至不同的数据库，避免线程之间的相互等待。
现有的方法存在的不足：算法模型越来越复杂，对计算的要求越来越高。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
统一规划、技术领先、成本适中、品牌影响力、成功案例
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
不考虑迁移测试, 如果迁移测试，将面临诸多风险：
对IBM的大数据方案不熟悉,可能导致迁移失败。
迁移测试的成本比较高,需要耗费精力来做这件事情，迁移之后不好用，还需要再次迁移回来。
迁移之后系统运行是否稳定、是否会出现未知问题等等并且在迁移测试过程中,还可能面临系统运行是否稳定等各种问题

hiyachen

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
     大数据首先面对的是数据量的级数增加。硬件方面需要解决网络传输即（iops）、计算能力、缓存服务器的选择。
     目前在搭建云平台，用虚拟技术，解决网络分布式的问题。及数据库第三方代理审计。和监控Zabbix。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
     优化Hadoop二次开发。
     网络拓扑优化、数据ETL优化。及OS级的资源分配。
     SAN的存储性能上不来。fio测试结果不理想。下部从服务器硬件、网络交换机等考虑。

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
     操作系统和硬件的适配，国产安全级操作系统四级以上。硬件宕机、亮灯。硬件审计不好的，都不推荐的。

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
    会的，但安全级别和存储机制需要首先和充分测试。

五岳之巅

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？

IT硬件还是主要看CPU和内存，硬盘还好吧，持续性的服务其实很重要。有时，如果没有问题就算了，一旦有问题可能就是关键问题，对于一些小厂是不具备应急服务的能力的。所以对于硬件厂商一定要慎重。

qingduo04

占座更新......

hexilanlan

niao5929

占座，power单位用来跑服务器，似乎后期买的都是power的服务器，跑数据库和application server

lifayi2008

赶紧了解下 ，要不然就跟不上潮流了

bbjmmj

“IOPs提高了6倍，延迟降低了2倍多”，这个不算啥。

niao5929

感觉POWER是不是要好一些！！！

limit001g

目前看，powerlinux还不能颠覆X86，毕竟目前可以叠加使用X86，满足部分需求。

bbjmmj

跑虚拟机用power是最爽的了，因为它内存大，cpu也多，但它的缺点也相当明显，每个虚拟机的成本远高于单台x86服务器，当然性能也会差很多。不过小机不是干这个活儿的，小机的用途是满足用户对集中式系统依赖的，能拆成分布式的业务都不适合用小机，所以从软件上看powerlinux跟x86不存在竞争关系，更不存在谁颠覆谁的问题。