【大话IT】Power8为大数据而生：IBM “开放”尺度有多大？（已公布获奖名单）

老马识途369

1.在“软件定义计算”的大数据时代，底层的芯片为上层软件私人定制。举个简单的例子，对于腾讯来说，底层芯片要满足实时要求；对于淘宝来讲，芯片要满足并发负载需求；对于平板，要满足低功耗需求等等。IBM的芯片设计提倡开放圈子，为不同的上层业务需求提供私人定制服务，您所在的企业对芯片有哪些需求？在大家火拼开放的时代，IBM开放得是否彻底？您怎么看？

处理器“定制化”必将是未来的发展趋势，在业务领域，特别是金融和零售业，对于那些一直寻求以更低价格、更强大系统取代HP或Sun的Unix系统的用户来说，OpenPower是一个具有革命意义的选择。

对于我们来讲，希望芯片满足实时性需求，高I/O，响应速度快，为上层的数据库服务，数据库需要大量的增删改查操作，尤其是在查询方面，对实时性要求比较在乎。

虽然两家都在谈开放，个人觉得IBM的开放力度很大，尤其是最近几年的动作很大，IBM将POWER芯片技术拿出来与合作伙伴分享，并且IBM对旗下的系统架构POWER也开始做出一些“退让”。

它的这种开放，不光是在技术上开放，还在标准与整个生态环境、合作伙伴上做到了开放，比如拿一组数字说话，OpenPOWER基金会得到了充分得发展，从最开始的五名创始成员发展到了现如今的113名成员，它在开放生态圈上的投入力度很大。

目前IBM已推出多款基于POWER8的POWER SCO产品，包括提供Linux、AIX和IBMi操作系统选择的三款产品，及只运行Linux三款产品，未来还将推出具备升级性能的SCO产品。目前IBM正积极推进POWER SCO产品对开源技术的支持，并凭借POWER在新兴工作负载上的技术优势，为选用开源系统的企业提供产品和解决方案。

老马识途369

2.相比于传统的服务器最多有2个核，IBM 最新武器POWER8 微处理器芯片配有12个内核，每内核含八线程，相当于执行总线程数达到96 个。这个到底有多大威力呢？在商业智能报告、数据搜索、可视化、应用预测分析等大数据与分析业务场景中，尤其在复杂查询和报表至关重要的应用环境下，基于Power8技术的服务器在数据分析速度上是否能完胜x86架构？请结合案例谈谈您的理由。

反正最近看到一组数据，基于Power 8技术的IBM Power Systems服务器在大数据分析速度上比最新的x86系统快82倍。Power 8提供了更低的云基础架构成本。据IBM测算，34台2插槽Power服务器可完成100台运行等效的虚拟化容量的2插槽x86服务器的工作，与VMware+Ivy Bridge的组合相比，PowerVM+Power 8的虚拟化组合总体硬件采购成本要降低58%，系统和核心数量减少66%。

从大数据技术发展可以看出，并发多线程技术是大势所趋。在未来的数据处理应用中，并行算法、分布式计算将占据主导地位。Power 8针对大数据优化内存带宽、PCIe、SMT、虚拟寻址和硬件管理的缓存的一致性方面表现不错。

老马识途369

3.业内首个基于Power平台的NoSQL数据库加速解决方案，依托Power系统CAPI高性能和Flash系统的高容量实现键值数据库的加速，那么IBM Power CAPI加速器与非CAPI加速器相对比到底有哪些优势？基于CAPI技术的Power8在云和大数据环境下可能会有哪些应用场景？

先来说说什么是CAPI 吧，这是IBM POWER8处理器的“Coherence Attach Processor Interface”，在设计上用于在8个片上多线程微处理器内核POWER8芯片阵列无缝添加处理加速器。CAPI允许外部硬件加速器使用片上处理器使用的相同内存地址，并实现指针废弃。也就是说加速器将查看应用程序可查看的同样存储空间。IBM POWER8处理器采用硬件管理缓存一致性，使得CAPI连接的加速器锁定同程线程运行所占用的内存，以与常规处理器加速器协议相比可提供的更低延迟与加速器连接。CAPI使用片PCIe Gen3 接口与外部硬件加速器连接。


基于Power的大数据分析结局方案适应于大数据及分析的多种数据及分析场景，依托强大的线程处理，低延时，开放性，Power8为企业用户提供饿最全面的大数据及分析解决方案。

就拿传统商业智能来说吧，数据存储在关系型数据库系统中，使用各种各样的 BI 工具进行分析和报告。这些用于日常业务活动报告的系统确保符合战略计划，并且能够跟踪和测评具体计划是否成功。它们还用于专项查询、制定战术决策、发掘有信息价值的数据，这种数据一般无法在常规业务过程中提取。IBM提供了基于POWER 的服务器、用于 BI 分析和报告的 IBM Cognos，以及用于数据管理的 IBM  DB2，这对大数据环境中的BI分析帮助很大。


在非结构化数据分析中，PowerLinux支持流行的Hadoop和新兴的Spark。Spark是Hadoop、流数据和人工智能等技术的整合，能够让用户更简便地进行编程。Spark在IBM的Linux on Power上也会成为支持新一代大数据分析的开放平台。

老马识途369

4.IBM在SoftLayer身上倾注了心血，近日有消息称SoftLayer将推出基于OpenPower的服务器，为IT基础设施锦上添花，这种基于Power 8 架构的全新裸机服务器，支持运行Linux应用程序，您是否看好？Linux on Power8在云部署和云管理方面有哪些优势？

我很看好，在短短几年时间里，PowerLinux就能带来不小的市场影响力。IBM通过OpenPOWER基金会，借助生态圈合作伙伴的力量来不断壮大PowerLinux的实力，涵盖设备、操作系统、应用等多个方面；在硬件层面，POWER8在硬件层面为PowerLinux做了很多努力，包括多线程、大内存的支持，CAPI技术的应用、PowerKVM中所采用的微核模式等。
IBM今天推出的首批5个基于POWER8的全新Power系统，专为大规模的、scale out计算环境设计，相比x86服务器具有良好的经济性、安全性、开放性，而且目前已有OpenPOWER的成员还可以为云计算运营商提供应用开发并使用定制的POWER处理器。如此种种，都为超大规模云数据中心提供了除x86以外的选择，提高了其自主性。


在云计算方面，我们都知道OpenStack非常火，它几乎已经成为了开源云计算IT基础架构的核心。OpenStack慢慢开始与很多技术相结合，比如对大数据项目的支持。如今云端的产品与大数据的结合越来越多，从原来的Hadoop技术、MapReduce横向扩展的非结构化分析技术，演变到现在新的Spark技术，这个平台与JUNO版本结合可以提供统一的部署。“对于云端部署而言，大数据是非常普遍的工作负载，该如何把两者结合在一起？OpenStack做了很多工作，在JUNO平台上面可以提供支持，在IBM的PowerLinux平台上也可以提供支持，PowerLinux平台提供了开放的、横向扩展、具有更高可靠性和并行计算能力。


在云管理方面，Docker配合Linux on Power的好处在于Linux on Power能够提供业界最高的并发度，在跑Docker应用的时候，PowerLinux可以更好地在同一个芯片、同一台机器支持多个应用，并且不会有相互间性能干预、缓存减少等问题。配合OpenStack，PowerLinux也可以提供很好的多租户使用场景。

老马识途369

5.以OpenStack为标准的云平台正在成为用户IT基础架构的核心，IBM作为OpenStack基金会的白金会员，代码贡献排名第三，成为了OpenStack的主要玩家。基于OpenStack的IBM Cloud Manager 4.2版本有哪些亮点？在云管理上有哪些优势？

IBM Cloud Manager 4.2版本最为突出的两大亮点在于：易于部署和混合的多云架构。怎么做到轻松构建和部署云管理？ICM4.2是如何做到的呢？IBM Cloud Manager 4.2不仅完美支持异构计算、存储、网络的云解决方案，同时其附加功能是可以加速云资源使用效率，并且也通过dashborads展示资源使用信息。同时该版本还支持所有IBM服务器架构和主要的管理程序，具体包括支持计费、项目管理、流程管理和网络管理。

    另外，对于混合的多云架构来说，IBM Cloud Manager 4.2优势更为明显，因为它本身就是构建在IBM的SmartCloud Entry产品之上，而SmartCloud Entry是IBM公司开发的一款基于云计算基础架构及服务层的轻量级解决方案,其对PowerVM、VMware和KVM虚拟化层都有着很好的支持。此外，ICM4.2在此基础上，还支持 owerKVM、zVM、Microsoft Hyper-V。 
 

 
    另外，ICM4.2支持的用户类型多样，适合多个方面，终端用户通过mobile & Web clients IT请求自服务；云管理员同时可以管理云中的工作负载、云中的用户和云环境；Platform管理员可以管理物理资源，包括servers, storage 和 networking三个方面；虚拟化管理员可以管理虚拟化资源也包括servers, storage和networking方面。

    值得强调一下的是，ICM4.2能够提供的跨平台管理能力，可以横跨X86 LINUX、POWER LINUX、AIX，并且也是将vCenter放在一个平台下进行统一管理。

    当用户将虚拟化扩展到整个数据中心时，一般都希望管理平台不仅能扩展以适应组织需要，而且又能嵌入现有体系结构中。 借助 ICM4.2对vCenter 的有效统一管理，完全可以掌控大型企业的管理，并且vCenter具备通过一个控制台管理 1000 多个主机和最多 10000 个虚拟机的能力。这样不仅可以借助vCenter这样一个可伸缩、可扩展的平台，也降低了运维管理人员的管理难度,现有的AIX人员可以轻松地管理X86平台，只需要进行非常简单的学习就可以实践起来。同时也简化了多种可能管理带来的麻烦，也对优化高效的IT环境带来了新的价值。

    很明显，ICM4.2促进用户的云管理地位得到前所未有的重视，其中带来用户在虚拟资源如存储、计算、网络等方面的好处，不仅可以提升用户整个云架构的潜在能力，同时提供了一个帮助用户覆盖X86 LINUX、POWER LINUX和AIX多平台的云过渡解决之道。ICM4.2易于用户访问，也易于用户使用目录服务请求。不管是针对基础设施、还是标准化的服务，总之都可以带来低成本的价值回报。
    ICM4.2交付给云管理员的管理体验也非常细致，针对用户和群组，也有直观的工作量的监控。

陈大胖子

5.以OpenStack为标准的云平台正在成为用户IT基础架构的核心，IBM作为OpenStack基金会的白金会员，代码贡献排名第三，成为了OpenStack的主要玩家。基于OpenStack的IBM Cloud Manager 4.2版本有哪些亮点？在云管理上有哪些优势？

ICM4.2整体方案构架显示出来的特点和优势备受业界用户所关注。就几个场景来分析，场景一多云管理，不同虚拟化平台管理过于分散，大家都知道，现有多种不同的虚拟化管理平台，管理十分分散，包括了x86云平台基于VMware的客户端管理和即将进行的Power虚拟化平台基于PowerVC管理，分散就显得复杂。

    加上不同的虚拟化平台有不同的定制化接口，客户化集成开发成本很高，如VCenter API和PowerVC API。不过，在ICM4.2应用来看，ICM4.2中添加VMware类型的云管理已有的vCenter Server，在ICM4.2中添加Openstack类型云管理已有的PowerVC云，使用一套统一ICM4.2定制化接口进行客户化系统定制开发。这必然会让事情显得简单起来。

    场景二基于工作流的资源调度管理，ICM4.2分级审批策略不仅支持简单的工作流，同时支持多种资源调度的审批策略，并可以单独启停，也可以根据不同的云设置不同的审批策略，同时也可以根据不同的项目设置不同的审批策略。灵活高效自然显现。

    场景三基于模板的虚拟机快速部署，很多用户可能遇到部署虚机时配置繁琐情况，虚拟机开通配置复杂，普通用户很难理解，比如虚拟机的配置参数对于普通云用户而言过于复杂，如不同类型的CPU，内存，存储池，网络配置等。另外，部署虚机管理员需要很多重复性工作，包括建虚拟adapter，映射卷，装OS，配置ip等等。那怎么办才好呢？

    ICM4.2部署分区功能提供了意想不到的灵活办法，一是IT管理员统一配置虚机镜像模板，提前配置相应的存储池，目标服务器池，网络等，并统一管理操作系统及软件版本。二是云终端用户只需要相应的Flavor即可以完成虚机配置。三是统一使用镜像模板的方式部署虚机。四是支持批量部署分区。为此，让用户对部署分区从1-2天时间缩短到了30分钟左右。

    场景四基于项目的资源分组管理，用户之前采用虚机管理方面，所有的虚拟机列在一起，难以快速查询，且区分困难。同时，登录用户可以看到所有虚拟机，也可以可以对任何看到的虚机进行操作。也能看到所有的镜像模板，并基于其进行部署。对于这种情况，ICM基于项目的资源管理模式，为不同的业务创建不同的项目，为项目添加成员，将镜像模板移入项目，并且部署虚机时选择相应的项目。更为科学有序的资源分组管理带来的效果立杆见影。

    场景五基于Horizon界面的资源展示，ICM资源展示是基于Openstack社区版原生Horizon界面进行的，为此显得更为直观，有利于管理员直接访问查看。

陈大胖子

1.在“软件定义计算”的大数据时代，底层的芯片为上层软件私人定制。举个简单的例子，对于腾讯来说，底层芯片要满足实时要求；对于淘宝来讲，芯片要满足并发负载需求；对于平板，要满足低功耗需求等等。IBM的芯片设计提倡开放圈子，为不同的上层业务需求提供私人定制服务，您所在的企业对芯片有哪些需求？在大家火拼开放的时代，IBM开放得是否彻底？您怎么看？


实际上，封闭的IBM其实早已经是过去式，早在2002年，IBM就曾投入10亿美金支持刚刚起步的Linux，十余年间，IBM一直是Linux开源社区最大的贡献者之一。2013年，IBM又宣布投资10亿美元用于Power架构上Linux新技术和开源技术的研发。随着IBM将POWER架构开放，IBM进一步加强了对开源软件的支持，“POWER和开源软件的联姻”速度并不比x86平台慢。

从芯片的定制化角度来讲，我们需要对基础架构进行更新，使其在保证传统工作负载高标准运行的同时满足新兴工作负载需求，一方面是传统的数据库、数据仓库应用，另一方面是云计算、移动、大数据等新兴业务负载。

陈大胖子

4.IBM在SoftLayer身上倾注了心血，近日有消息称SoftLayer将推出基于OpenPower的服务器，为IT基础设施锦上添花，这种基于Power 8 架构的全新裸机服务器，支持运行Linux应用程序，您是否看好？Linux on Power8在云部署和云管理方面有哪些优势？

看好，比较Linux市场是主流。基于POWER8的Power Systems将支持Red Hat Enterprise Linux 7.1，帮助企业以小时为单位快速、简便地完成从x86到Power平台的应用迁移，使其得以利用原本为x86架构研发的丰富的RedHat应用。

作为OpenStack最高级别的白金级会员，IBM在Power上实现了对OpenStack全面紧密的支持，并以OpenStack为中心，实现对Docker、Hadoop、Spark等开源软件和标准的支持，这将有助于实现大数据与分析与云计算的无缝集成。PowerLinux 专注于大数据、Java应用以及Linux云计算等解决方案场景。POWER8 Linux 为特定解决方案场景提供一系列独有特性，包括支持 LE 应用、支持 Ubuntu OS以及支持 PowerKVM，使其能够与x86在开源虚拟化场景竞争。与专门运行Linux系统的PowerLinux形成互补，从而对基于Linux的工作负载作出完整支持，它还能构建Unix/Linux混合资源池，整合x86 Linux和Unix混合工作负载环境，凭借Power Unix/Linux取代LE Unix+x86 Linux解决方案。

陈大胖子

3.业内首个基于Power平台的NoSQL数据库加速解决方案，依托Power系统CAPI高性能和Flash系统的高容量实现键值数据库的加速，那么IBM Power CAPI加速器与非CAPI加速器相对比到底有哪些优势？基于CAPI技术的Power8在云和大数据环境下可能会有哪些应用场景？


IBM POWER处理器内部提供了一个CAPI总线(Coherent Accelerator Processor Interface，一致性加速器接口)，通过CAPI接口，可以让外部设备通过PCI-E 3.0直接访问CPU的内存空间(一致性)，从而为特定应用提供了更大的优化空间和更显著的优化性能。无论是新兴云应用还是传统的企业级应用，都能在这一更底层的开放举措中获得实际的性能优势。

IBM POWER8处理器采用硬件管理缓存一致性，使得CAPI连接的加速器锁定同程线程运行所占用的内存，以与常规处理器加速器协议相比可提供的更低延迟与加速器连接。CAPI使用片PCIe Gen3 接口与外部硬件加速器连接。

　　举例来说，IBM把CAPI和后端FlashSystems闪存阵列相连接，这样闪存阵列与CPU的通讯就无需经过层层系统总线的转换，只需要在光纤和CAPI接口之间进行。根据IBM的内部测试，硬件线程的单位IOPS提高5倍以上，延时减低了2倍以上。在此基础上，与NoSQL数据引擎相结合，“能够获得与多台x86系统运行内存数据库相等的性能。”

　　IBM还将CAPI与NVDIA GPU加速技术相融合，可大大提升各种企业级应用的运行性能，包括商业智能、预测分析、风险分析等等，甚至可用于各种高性能计算的应用环境。

陈大胖子

3.业内首个基于Power平台的NoSQL数据库加速解决方案，依托Power系统CAPI高性能和Flash系统的高容量实现键值数据库的加速，那么IBM Power CAPI加速器与非CAPI加速器相对比到底有哪些优势？基于CAPI技术的Power8在云和大数据环境下可能会有哪些应用场景？


IBM POWER处理器内部提供了一个CAPI总线(Coherent Accelerator Processor Interface，一致性加速器接口)，通过CAPI接口，可以让外部设备通过PCI-E 3.0直接访问CPU的内存空间(一致性)，从而为特定应用提供了更大的优化空间和更显著的优化性能。无论是新兴云应用还是传统的企业级应用，都能在这一更底层的开放举措中获得实际的性能优势。

IBM POWER8处理器采用硬件管理缓存一致性，使得CAPI连接的加速器锁定同程线程运行所占用的内存，以与常规处理器加速器协议相比可提供的更低延迟与加速器连接。CAPI使用片PCIe Gen3 接口与外部硬件加速器连接。

举例来说，IBM把CAPI和后端FlashSystems闪存阵列相连接，这样闪存阵列与CPU的通讯就无需经过层层系统总线的转换，只需要在光纤和CAPI接口之间进行。根据IBM的内部测试，硬件线程的单位IOPS提高5倍以上，延时减低了2倍以上。在此基础上，与NoSQL数据引擎相结合，“能够获得与多台x86系统运行内存数据库相等的性能。”

IBM还将CAPI与NVDIA GPU加速技术相融合，可大大提升各种企业级应用的运行性能，包括商业智能、预测分析、风险分析等等，甚至可用于各种高性能计算的应用环境。