Chinaunix

标题: 【大话IT】互联网大数据应用：PowerLinux能巅覆x86性能吗？ [打印本页]

作者: pipihappy8888 时间: 2015-05-28 14:19
标题: 【大话IT】互联网大数据应用：PowerLinux能巅覆x86性能吗？

众所周知，互联网行业一直是大数据技术应用的主力军。随着移动社交应用、手机应用的普及应用，数据量不断增加，而大数据的核心诉求是通过追求极致性能来快速洞察数据，从而对大数据软硬件技术提出挑战，也引发了业界新的思考。比如，尽管今天绝大多数互联网企业都在使用x86服务器来做分布式系统，但为什么Google积极地参与OpenPOWER联盟来发展新的技术和产品？如果有更高性能而且更可靠的服务器，BAT们不必频繁更换配件或整机，岂不更省钱省事省人工？

我们看到，IBM的Linux on Power正带给我们一种全新的思路和选择。一方面是IBM开始走开放路线，通过推出PowerLinux服务器及OpenPOWER生态联盟，支持Linux、Hadoop、KVM、OpenStack、NoSQL等主流开源技术；另一方面，则是将POWER架构的性能与可靠性优势，与开源技术相结合，推出了一系列让人耳目一新的云和大数据解决方案。比如，CAPI+Flash+Redis的NoSQL方案解决了传统x86方案面临的内存容量不足、性能瓶颈、可靠性缺失、成本不可控、复杂性增加等挑战，将IOPs提高了6倍，延迟降低了2倍多；基于Symphony+GPFS的大数据方案兼容开源Hadoop标准，并充分利用了PowerLinux在密集型IO和密集内存访问方面的优势。

为了了解更多用户的想法，本期大话IT栏目，邀请各位大佬一起来探讨一下PowerLinux在这一领域的前景，期待大家多多参与。

如果你对Linux on Power还不了解，也没关系，可以去我们的“Power体验营”(http://topic.it168.com/game/ibm1505v1/)观看IBM工程师的技术讲解视频，再来参与讨论。

技术视频：

全堆栈Hadoop计算认知及预测解决方案

探究Linux on Power的NoSQL解决方案

MangoDB数据库技术实战分享

讨论话题：

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？

活动时间：2015年5月28日-6月28日

活动奖励：活跃会员将赠送精美礼品一份

获奖名单：fengzhanhai 五岳之巅 help01 xkf01 zhangdiandong minicooperrrm realkid4 .

作者: qingduo04 时间: 2015-05-28 15:35
占座更新......

作者: hexilanlan 时间: 2015-05-28 18:20

作者: niao5929 时间: 2015-05-28 23:49
占座，power单位用来跑服务器，似乎后期买的都是power的服务器，跑数据库和application server

作者: lifayi2008 时间: 2015-05-29 15:37
赶紧了解下，要不然就跟不上潮流了

作者: bbjmmj 时间: 2015-05-29 22:35
“IOPs提高了6倍，延迟降低了2倍多”，这个不算啥。

作者: niao5929 时间: 2015-05-30 16:26
感觉POWER是不是要好一些！！！

作者: limit001g 时间: 2015-05-30 18:18
目前看，powerlinux还不能颠覆X86，毕竟目前可以叠加使用X86，满足部分需求。

作者: bbjmmj 时间: 2015-06-02 10:50
跑虚拟机用power是最爽的了，因为它内存大，cpu也多，但它的缺点也相当明显，每个虚拟机的成本远高于单台x86服务器，当然性能也会差很多。不过小机不是干这个活儿的，小机的用途是满足用户对集中式系统依赖的，能拆成分布式的业务都不适合用小机，所以从软件上看powerlinux跟x86不存在竞争关系，更不存在谁颠覆谁的问题。

作者: minicooperrrm 时间: 2015-06-02 11:03
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
碰到的困扰和挑战主要是1、复杂的数据计算和存储 2、技术的成熟度。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
方法有：优先保证级别高的作业；单个任务内存控制；磁盘IO监控等等吧

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
统一规划：明确应用系统在规划期内的规模，对整个应用系统的模块、用户、流程进行分析，确定总体需求，从而定义出其硬件平台对应的架构和配置。
高可用性：要求硬件平台具有单点失效保护，能够实现故障预警、报警，具有良好的故障应急处理能力。如在出现有限个数的服务器、磁盘、存储设备或交换机故障等情况下，系统可以继续运行，不影响业务处理。
高扩展性：由于应用系统建设是一个长期持续的过程，日后随着公司规模扩大和业务量的增长，用户数可能会超出预期，当硬件平台的处理能力不够时，要求可以在原有架构的基础上实现灵活扩展。
高安全性：能够实现良好的信息安全能力，能够应用灵活的安全策略，如对不同用途的服务器进行安全分区以实现不同程度的隔离等。
高可维护性：维护便捷简单，尽量减少宕机时间，特别是减少进行故障修复、系统扩展和变更时的宕机时间，能够提供友好、全面的监控工具。
合适性价比：在满足需求并符合上述原则的前提下，良好的性价比是关键。各家硬件各有所长，关键是需要关注满足应用系统需求的技术，而不是一味追求先进技术，

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
如果是我，暂时不考虑，至少1-2年内不会。主要是考虑到现状，迁移的复杂性，以及技术的成熟度。

作者: zhaopingzi 时间: 2015-06-03 10:26
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
      大数据分析基本都是NOsql,我习惯使用SQL
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
      买好硬件。大把花钱
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
      买性价比高的硬件
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
不会。以前用的好好的，为什么要迁移

作者: zhangdiandong 时间: 2015-06-03 13:16
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
  主要面对问题大数据容量的存储，大规模并发量的快速处理，及数据库与程序之间读写执行的效率
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
  采用分布式处理，提高并行运行处理效率，优化存储及提高执行的效率
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
  采购计划统一性平台的可扩展性，需要与采购商进行方案的沟通，同时需要关注到部门员工的it技能是否能达到要求，进而还需要针对公司的整体资产更新规划及业务的法阵需要
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会考虑测试，但是需要针对目前业务需要作出明确的计划列表，而且要根据整体的软硬件采购规划考虑是否在业务发展需要时进行迁移

作者: realkid4 时间: 2015-06-03 15:25
拙见如下：
1、在硬件产品日趋廉价、优秀开源软件日益流行的今天。进行大数据、数据挖掘分析最大的问题在于业务导向。老实说，传统行业的业务人员普遍满足于报表和简单查询系统。以研究分析为目的，大数据和数据挖掘为手段的建设项目经常遇到“归属”问题，没有业务部门、业务专家会主动承担起这部分责任。单纯依赖技术人员，是不能满足大数据的分析目的的。软硬件方面，笔者认为普遍都不是大的问题。
2、已经典的关系数据结构作为核心分析点，对于非结构和半结构数据，采用小步快走的方式开发；
3、IO、内存和事后调优团队的引入；
4、有意愿进行测试。回复 1# pipihappy8888

作者: fengzhanhai 时间: 2015-06-03 22:43
回复 1# pipihappy8888
pipi很牛叉，20秒之内抛出2个热门话题，一个是大数据，一个是云计算

O(∩_∩)O哈哈~我必须得力顶一下啊~~
目前我们的团队正在测试Hadoop大数据平台，我也有幸参与之中，现在最棘手的问题是公司没有大数据方面的技术积累，更糟糕的是Hadoop不是一个开箱即用的产品，需要二次开发定制，对于我们传统IT公司来说依靠一己之力短期内无法搞定。目前找了IBM、华为、东方国信、星环等几家专业大数据解决方案公司。前期也和这几家公司进行了多次交流，感觉总是或多或少的存在一些遗憾，不能切中我们的需求的痛点。通过几轮交流下来，IBM的大数据解决方案感觉相对成熟但是相对其他几家公司来讲其灵活性太差，无法为某一企业特殊场景需求进行定制。
对于硬件方面各厂商都建议使用x86物理机进行部署hadoop集群，厂商匡算出来的结果，按照我们现在的数据量需要50台机器，单机配置为cpu 32c*2.6GHz，256G内存,1,5T存储，SSD 500G感觉有点夸张~~
个人观点：对于Hadoop这类分布式计算框架来讲，单台计算机节点的可靠性不在重要，因为hadoop本身提供了容错性和可靠性的保证，所以在这一点上power架构的服务器单点的健壮性并不具备优势，且其一次性投入成本也不占据优势。若是在hadoop这类本身以廉价服务器构建超级计算集群节点为初衷的应用之上非要选择power服务器，那唯一能说服我选择power架构的服务器原因就是出于计算性的考虑而选择power。

作者: laputa73 时间: 2015-06-04 08:36
用power颠覆x86的性能,这个没有问题。
问题是用power颠覆x86.这个不全是软件的问题。这么多年以来,基于unix的risc阵营挑战x86, 已经几乎全军覆没，这里面或许有不少是操作系统的因素，还有x86平台的开放性，也胜过risc平台的碎片化和封闭性。
powerlinux这个方向还是好的，比死守aix强。opensolaris一样活不下去。
现在大家都转向linux, 而且cpu的厂家也洗得差不多了，基本就是IBM vs Intel, risc有可能翻盘吗？
如果IBM真的开放power的授权，向ARM学习，搞openpower,我觉得的是可能的，因为x86的开放性已经名存实亡了。
只有开放，才能极大压低成本。
问题是这个东东美国政府看的很严啊。

作者: jackson198574 时间: 2015-06-04 09:22
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
一直用的IBM的小型机和服务器做传统行业，包括PC和Power Linux，感觉硬件上还是非常稳定的。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
暂时还没用到这几个数据库，考虑过尝试使用闪存。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
借用皮主编第一个题目里的3个词，稳定性、拓展性和高可用，感觉都很重要，现在大数据相关的产业百花齐放，竞争激烈，稍有闪失可能就会被同类对手抢走用户。
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
接触过很多IBM的硬件产品，也遇到过很多问题，从经验上看，IBM的硬件还是很靠谱的，PowerLinux用起来感觉挺好，物美价廉。

作者: fengzhanhai 时间: 2015-06-04 22:18
回复 17# fengzhanhai
关于目前遇到的困难再补充以下几点：
1.数据来源分散，存在大量异构性数据，没有找到好的的手段进行标准化处理；
2.没有有效的手段保证数据的质量；
3.目前团队内部没有大数据技术专家与数据分析师复合型人才，无法充分挖掘、洞察当前数据的价值，只能跟在厂商屁股后面；
4.团队技术薄弱................................

作者: limit001g 时间: 2015-06-05 10:45
吐槽吐槽，下面的技术讲解视频不够好，噪声大，内容听不太清楚，看了开头就直接关闭了，是不是可以请IBM相关技术人员专门录制一段产品讲解视频呢。这样对论坛、论坛参与人员以及厂家是有益的啊。（不知道是不是因为涉密了，我想不至于吧。）
Power体验营”([llurl]htt://topic.it168.com/game/ibm1505v1/[/,,url])观看IBM工程师的技术讲解视频。

作者: pipihappy8888 时间: 2015-06-05 11:02
很是安慰哦！回复 17# fengzhanhai

作者: pipihappy8888 时间: 2015-06-05 11:02
哈哈，改天有机会再弄个新的体验营，超清视频！回复 21# limit001g

作者: fengzhanhai 时间: 2015-06-05 13:18
回复 22# pipihappy8888
在可以预见的未来，大数据是大势所趋，目前正在从IT走向DT时代。cu的这个话题非常的棒~引领科技前沿，也证明了CU社区是一个以技术基因为根的社区，这也是我喜欢cu的地方，也是大多数一线工程师喜欢cu的地方~ 不罗嗦，不大谈理论，不搞华而不实的**，只求看得见摸得着的实实在在的东西~
哈哈，更要感谢cu有一个强大的team member@小尾巴鱼

作者: jimn1982 时间: 2015-06-06 12:58
回复 17# fengzhanhai

支持你的光点，只是现在分布式的HADOOP集群的服务器成本有点高，低了处理不了大的数据

作者: fengzhanhai 时间: 2015-06-08 14:18
回复 25# jimn1982
不仅仅是投入成本，还有维护成本，人力成本，而且目前大数据库工程师奇缺导致要价奇高

恨不得自己从零开始做一个大数据菜鸟

作者: Let_it_go 时间: 2015-06-10 15:54
支持！

作者: liuhuoxingkong 时间: 2015-06-12 14:51
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
没有从事大数据分析相关工作。在学习的过程中，感觉主要问题是计算能力和存储能力

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
基本就是系统性能、拓展性、稳定性、高可用性这几个性能进行对比，考虑实际的业务要求，判断哪一项的优先级更好，当然，价格和服务也是不可忽略的因素

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
公司暂时没有迁移计划，由于长时间的数据积累，成本是很大的，而且暂时又没有绝对必要的理由

作者: stay_sun 时间: 2015-06-12 15:03
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
大数据方面的运维很麻烦，在稳定性方面很揉一出问题。因为hadoop的技术应用不多。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
分布式集群部署分析系统
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
目前没有选型过
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
可以测试迁移就得用过之后才知道

作者: Darren_Guo 时间: 2015-06-12 16:20
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
答：主要的困扰是大数据的及时处理，对于巨大的数据流，怎样高效的将数据流引入到自己的系统中并进行分析。系统的性能是一个很大的问题，面对海量的数据，对系统的性能要求是很苛刻的。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
答：硬件架构固定后，主要是优化系统。这个方法的瓶颈最后还是硬件设备的限制。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
答：主要考虑硬件的扩展性和价格，因为大数据需要的硬件设备会相对较多，价格是很重要的因素。
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
答：在新系统上可能会考虑，老系统考虑到迁移的问题一般不会考虑。

作者: xkf01 时间: 2015-06-12 17:34
提示: 作者被禁止或删除内容自动屏蔽

作者: xkf01 时间: 2015-06-12 17:37
提示: 作者被禁止或删除内容自动屏蔽

作者: help01 时间: 2015-06-13 16:56
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
在使用大数据分析时，遇到的一个困扰就是如何确定数据的边界。虽然大数据是要有海量的基础数据为支撑，但就算是海也有边界，如何确定这个边界其实没有定论，关键还是要实施者自己来把控。
具体到硬件层面，在拓展数据库服务器时，确保新加入数据库的稳定和性能也是难点之一。尤其当存在不同种类数据库时，在稳定性以及数据库之间互联方面需要加以注意。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
为提高性能，从硬件上来讲我会增加服务器的内存，并且考虑固态硬盘。
这些方法能一定程度上提升Hadoop、NoSQL或者MongoDB性能，但是提升空间有限，毕竟不可能无限制地购买内存和更换硬盘。而且也会受到系统架构的制约。

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
CPU通常考虑四核低功耗CPU，包括低功率的电源配置，能够支撑八核心低功耗设备。
两个六核处理器（6核12线程），可支持96个基本的虚拟机（VM），最大支持96 GB 的内存。
利用闪存驱动器启动服务器管理程序，将来可以考虑把操作系统和一些小型的服务器应用，如LAMP放到闪存当中运行。

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
暂时还不会考虑迁移测试，因为系统目前运行稳定，而且没有严重的性能瓶颈。

作者: z109605749 时间: 2015-06-16 17:33
1、大数据分析的瓶颈，性能是主要，运算速度慢
2、优化方法加入缓存策略，现在的不足之处就在于还需要进行缓存策略的不断优化
3、首先会选择大品牌，其次就是要考虑我的实际应用场景，如何尽可能最大化使用服务器各个组件的整体性能
4、暂时不会迁移

作者: areece 时间: 2015-06-17 10:25
形势比人强。powerlinux如果要我说，只有一条慢慢死的路，它可能会比快快死的路会看起来好一点，但是套用一句现在网上流行的话来讲，就是然并卵。

现在的问题不是这个普通的通用服务器上powerlinux来抢x86的地盘，而是power还在保住它的传统地盘多长时间的问题。这无关技术，无论ibm有多强的CPU设计能力都无关结局。

作者: limit001g 时间: 2015-06-18 10:02
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
数据量的指数级增长对存储空间要求越来大，实时分析海量的数据对计算能力要求越来越高；数据庞大，对数据库的要求更高，使得数据库出现性能瓶颈；用户的应用和分析结果呈整合趋势，对实时性和响应时间要求越来越高；
由于存在上面这些困扰和挑战，具体到硬件层面，在各个层面都会有一定的压力，并且在高可用性能方面的瓶颈更为突出。
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
使用排序：分清任务的重要性，优先级高的先执行。
使用多线程：分解任务和数据，充分利用CPU的多核心多线程。
使用多个数据库。将不同的线程结果输出至不同的数据库，避免线程之间的相互等待。
现有的方法存在的不足：算法模型越来越复杂，对计算的要求越来越高。
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
统一规划、技术领先、成本适中、品牌影响力、成功案例
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
不考虑迁移测试, 如果迁移测试，将面临诸多风险：
对IBM的大数据方案不熟悉,可能导致迁移失败。
迁移测试的成本比较高,需要耗费精力来做这件事情，迁移之后不好用，还需要再次迁移回来。
迁移之后系统运行是否稳定、是否会出现未知问题等等并且在迁移测试过程中,还可能面临系统运行是否稳定等各种问题

作者: hiyachen 时间: 2015-06-18 19:18
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
   大数据首先面对的是数据量的级数增加。硬件方面需要解决网络传输即（iops）、计算能力、缓存服务器的选择。
   目前在搭建云平台，用虚拟技术，解决网络分布式的问题。及数据库第三方代理审计。和监控Zabbix。

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
   优化Hadoop二次开发。
   网络拓扑优化、数据ETL优化。及OS级的资源分配。
   SAN的存储性能上不来。fio测试结果不理想。下部从服务器硬件、网络交换机等考虑。

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
   操作系统和硬件的适配，国产安全级操作系统四级以上。硬件宕机、亮灯。硬件审计不好的，都不推荐的。

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会的，但安全级别和存储机制需要首先和充分测试。

作者: 小尾巴鱼 时间: 2015-06-23 15:28
回复 24# fengzhanhai

俺是小人物哈。

很看好你啊，博客见证了你的快速成长，相信在这个新的公司在这个数据分析的领域你也可以快速变身。

加油！北上广的技术发展虽快，但更相信山东人杰地灵更好的平台与发展速度能够更好的成就你。

作者: 小尾巴鱼 时间: 2015-06-23 15:32

minicooperrrm 发表于 2015-06-02 11:03
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性 ...

学习啦，很受用

作者: 小尾巴鱼 时间: 2015-06-23 15:33

zhaopingzi 发表于 2015-06-03 10:26
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性 ...

给了我不一样的思路也是很有道理的

作者: uuu333e 时间: 2015-06-23 15:50
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
硬件基本能满足，数据收集分类
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
没有包括我使用的数据库
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
稳定性及性价比吧
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
暂不

作者: uuu333e 时间: 2015-06-23 15:52
PowerLinux能巅覆x86性能吗？

也有兴趣了解一下是如何颠覆的

作者: 艰苦奋斗989 时间: 2015-06-23 15:59

1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
数据量不断增加，对于扩大机器数量的预计与部署

2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
开发，主要是有好的管理

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
适配、迁移的的易操作性

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会考虑测试，迁移需要考虑多方面的因素

作者: fengzhanhai 时间: 2015-06-23 16:17
回复 38# 小尾巴鱼
非常感谢小尾巴鱼，O(∩_∩)O~你的这番话很是受用呀，现在我又满血复活啦

嗯，回归正题，现在大数据正在向快数据、实时数据分析的方向发展，power在这方面大有可为呀~~ 关键还是要看蓝色巨人能不能抓住用户需求的痛点了~~

作者: uuu333e 时间: 2015-06-25 11:14
单从性能上，多年对IBM的了解，应该是问题不大。但是其中有很多因素，不只是一个计算能力就能取胜的。

作者: uuu333e 时间: 2015-06-25 11:20
对于数据分析，需求大，但是人才少，所以还谈不上对机器，性能有多好的要求。

作者: 丫～头逨逨逨 时间: 2015-06-25 11:26
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？
分布式存储，拓展的复杂性，相关性等
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
暂时不是用的这些数据库，但会开始考虑开源数据库，功能与可参考案例也多一些
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
暂先用现有硬件

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
会进行了解吧

作者: 丫～头逨逨逨 时间: 2015-06-25 11:26
回复 20# fengzhanhai

难兄难弟啊

作者: 丫～头逨逨逨 时间: 2015-06-25 11:27

minicooperrrm 发表于 2015-06-02 11:03
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性 ...

向大拿学习啦

作者: 校长的马夹 时间: 2015-06-25 11:31
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？

拓展性、稳定性、数据库之间的连接
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？
从分散在各个系统网站后台 excel当中的数据进行汇总抽取清洗转换可视化分析数据挖掘

3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？
如果重新硬件选购的话，肯定分析市场，选性能最好，价格最优的

4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？
可能会是参考之一，IBM一直以来还是比较可信赖的

作者: 校长的马夹 时间: 2015-06-25 11:32
32楼的说法，很有意思，但也不是那么绝对，万有可能

作者: 校长的马夹 时间: 2015-06-25 11:35
希望硬件服务能够走在我们实际数据分析的前面，这样我们只要了解自身业务，就要吧直接套啦。但是这个很难

作者: uuu333e 时间: 2015-06-25 11:38

校长的马夹发表于 2015-06-25 11:35
希望硬件服务能够走在我们实际数据分析的前面，这样我们只要了解自身业务，就要吧直接套啦。但是这个很难

这个。。。。。。。很天真

作者: 五岳之巅 时间: 2015-06-25 17:13
1、您在使用大数据分析时，碰到过哪些困扰和挑战？具体到硬件层面，您在系统性能、拓展性、稳定性、高可用性等方面是否碰到瓶颈, 数据库之间的连接等等？

先谈谈对第一个问题的思考，一般做大数据分析时，主要还是预先做一小部分的预测试进行建模和发现问题。我感觉这一部分对硬件需求不大，一般电脑都可以，PC机都ok，除了上网本、CPU阉割版的笔记本以外，其他笔记本也都可以胜任，特别是游戏本。在这个部分对稳定性和系统性能要求并不高，考察的主要问题只是业务逻辑。看看有没有人也持相同观点的。

作者: z123789456 时间: 2015-06-25 17:24
回复 6# bbjmmj

power性能真的这么强？我怎么觉得power也和x86有很大的市场重叠呢？

作者: z123789456 时间: 2015-06-25 17:25
回复 54# 五岳之巅

有点道理，然后呢？请教下文！

作者: 五岳之巅 时间: 2015-06-25 20:10
回复 56# z123789456

数据预处理时，针对大批量数据是需要高性能计算的。但第一步建模分析时抽样数据便可以了。

作者: 五岳之巅 时间: 2015-06-25 20:24
2、为提高Hadoop、NoSQL、MongoDB的性能，您一般会采用什么样的方法？现有的方法还存在哪些不足？

现在刚腾出些时间，思考一下第二个问题。
至于我的工作，MongoDB和Mysql用的比较多，性能还好，我做科学计算的，对实时性要求不算高，这两个数据库相互配合可以。
主要的不足可能并不在于性能不足，而是人性化处理功能不够，如果有更好的工具链肯定会更好。

作者: z123789456 时间: 2015-06-25 20:36
回复 57# 五岳之巅

前辈说的有道理

作者: z123789456 时间: 2015-06-25 20:38
回复 58# 五岳之巅

这一点我觉得不对，我也用过这两种啊，还是觉得nosql快很多啊

作者: 五岳之巅 时间: 2015-06-25 20:42
回复 60# z123789456

得看业务吧，SQL里面有业务逻辑，不知道这么说你理解不？SQL数据库逻辑关系更为复杂。SQL或NOsql是双刃剑。

作者: 五岳之巅 时间: 2015-06-25 20:44
回复 60# z123789456

其实从某种程度上说，你说的也很对

作者: 五岳之巅 时间: 2015-06-25 20:48
3、在部署大数据方案时，您是如何进行IT硬件选型的，主要会考虑哪些因素？

IT硬件还是主要看CPU和内存，硬盘还好吧，持续性的服务其实很重要。有时，如果没有问题就算了，一旦有问题可能就是关键问题，对于一些小厂是不具备应急服务的能力的。所以对于硬件厂商一定要慎重。

作者: z123789456 时间: 2015-06-25 20:50
回复 63# 五岳之巅

哪个牌子的服务器好一些呢？

作者: 五岳之巅 时间: 2015-06-25 20:51
回复 64# z123789456

哦，你就在线啊。我觉得IBM和HP的都不错，DELL和浪潮其次。

作者: z123789456 时间: 2015-06-25 20:59
回复 65# 五岳之巅

谢谢啦，Ibm好是好，就是有点贵

作者: 五岳之巅 时间: 2015-06-25 21:01
回复 66# z123789456

东西是一分价钱一分货。贵一定有贵的道理，相信我，我就遇到过在国产的机器上栽跟头的事。都是泪啊。。。。

作者: 五岳之巅 时间: 2015-06-25 21:03
4、对于IBM推出的上述大数据方案，您是否会考虑迁移测试？为什么？

暂时不会考虑立刻迁移，毕竟现在的业务并未到必须更换平台的时候。但未来平台技术规划会将Power考虑在内的，毕竟IT人都是求“新”若渴。

作者: z123789456 时间: 2015-06-25 21:04
回复 68# 五岳之巅

前辈，买，买，买😁

作者: 五岳之巅 时间: 2015-06-25 21:09
回复 69# z123789456

小兄弟，你很逗而且看来也有运维经验，站内信留个QQ私聊吧。

作者: z123789456 时间: 2015-06-25 21:10
回复 70# 五岳之巅

好滴

作者: bbjmmj 时间: 2015-06-26 11:47
回复 55# z123789456

现在都虚拟化时代了，X86跑虚拟化，可以借助频繁升级达到高性能，而POWER比较贵，扔不起，速度反倒会落后X86很多。

作者: 五岳之巅 时间: 2015-06-26 13:41
回复 72# bbjmmj

分析的很客观，时间就是一把杀猪刀

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)