一种基于IaaS云计算的电子渠道平台建设方案

rom

【摘  要】：传统电信运营商IT支撑系统多采用较昂贵的小型机建设，在居高不下的硬件投入成本和业务增长乏力的压力下，运营商迫切希望虚拟化、云计算等新技术提升资源利用率并降低建设运营成本。本文通过一则运营商电子渠道平台建设需求分析，概要介绍了在IaaS云计算部署时，对基础（计算与存储）资源池化、网络可靠性、资源可管理性、平台弹性扩展及业务高可靠性保障等要素的综合考虑，并依托HP Blade Matrix 产品，给出了一种基于IaaS云计算的电子渠道平台建设方案。

【关键词】：云计算 IaaS  资源池化  弹性扩展 可靠性

1、引言
从技术发展的角度，经历了个人计算机变革、互联网变革之后，云计算是全球信息产业正在迎来的又一次跨时代的变革。
云计算（Cloud Computing）是网格计算（Grid Computing）、分布式计算（Distributed Computing）、并行计算（Parallel Computing）、效用计算（Utility Computing）网络存储（Network Storage Technologies）、虚拟化（Virtualization）、负载均衡（Load Balance）等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。
随着虚拟化技术的大量应用，目前在电信运营商的IT支撑系统中，已经呈现了越来越多的资源池：虚拟主机资源池，虚拟存储资源池等等，但有效地实现整体云计算资源部署的实践方案并不多见。云计算分为基础设施作为服务（IaaS）、平台作为服务（PaaS）、软件作为服务（SaaS）三个层次。现阶段提供给公众服务的典型IaaS(Infrstructure As  A  Service) 云是Amazon 的EC2/S3。
在居高不下的硬件投入成本和业务增长乏力的压力下，运营商迫切希望虚拟化、云计算等新技术提升资源利用率并降低建设运营成本。但电信运营商出于运营安全的考虑，短期内暂无法将自身的一些关键应用交付公有计算云，IaaS成为现阶段电信运营企业最容易构建内部私有云的一种首选切入方式。
2、电子渠道建设需求
电子渠道是为了满足客户实时服务的需求，降低营业前台服务压力和服务成本，而迅速发展起来的自助式新型营销服务渠道，它以互联网技术和通信技术为基础，将产品的销售与服务数字化，让客户借助终端设备，可自助定购产品、获取服务。
传统的电子渠道建设方式，为多个专有目的的业务各自建立分散的系统，属于固有的“烟囱式”建设方案，资源利用率低且较多使用价格较高的RISC小型机方案。为改变目前多厂家分散运营的现状，同时降低今后平台扩展的建设成本，XX移动公司计划依托CRM、BOSS系统及统一的基础硬件资源，建设电子渠道统一平台。


图1  电子渠道结构示意图
2.1电子渠道分层架构
在第一期电子渠道工程主要实现网上营业厅、WAP营业厅、空中充值三个电子渠道的整合，三者纳入业务支撑网统一规划，严格按照移动的网络环境以及安全策略进行架构，系统整体采用三层B/S架构模式，将数据层、业务应用层、表现层分开，数据库服务器无需对外开放，其安全性大大提高，整个系统便于扩展业务需求，模块化清晰、层次性强，使系统具有高度的安全性、稳定性和可维护性。统一底层数据、统一业务逻辑、统一管理界面。如图2所示。



图2  电子渠道结构示意图
2.2对基础资源的要求
基于刀片硬件的基础设施云（IaaS），不同于其他应用级别的云（SaaS\ PaaS），IaaS只关注在底层基础设施云功能的实现，对于上层的应用（包括数据库）来说它是透明的。
因此在该电子渠道的建设需求里，建设单位主要是希望提供一种快速灵活、方便迁移和扩展、可动态调配物理资源的硬件平台部署的先进基础架构解决方案，是属于典型的硬件基础设施的云平台需求，至于能在这样的基础架构上实现什么样的电子渠道应用，需要结合实际的情况和应用软件厂商共同来实现。由于电子渠道的种类繁多，运营商可以自建电子渠道应用系统，也可将基础设施资源出租提供给一些合作运营的伙伴，由运营伙伴合作开发电子渠道的应用。
3、IaaS云计算要素分析
要在电子渠道项目建设中部署提供IaaS的云计算服务，需要关注以下几个关键要素。
(1) 基础资源的池化
(2) 网络高可靠性
(3) 资源可管理性
(4) 平台的可扩展性与业务高可靠性
3.1基础资源的池化
资源的池化分为计算资源池化、存储资源池化。
3.1.1计算资源池化
具备混合资源池的能力，计算资源应可将硬件与其它虚拟化厂商的虚拟机工具进行集成，如VMware ESX和Microsoft Hyper-V，实现物理和虚拟基础设施的混合可用性。
3.1.2存储资源池化
整个IaaS平台里存储资源建议按照基于SAN交换机虚拟化的方式部署存储虚拟化，对于IO要求不高的情况下，也可采用IP SAN的方式。
在云计算平台的存储中,磁盘数据的读写速度是一个更重要的问题,因此需要对多个磁盘进行同时读写.这种方式要求将数据分配到多个节点的多个磁盘当中。为达到这一目的,存储技术有两个选择,一个是使用类似于Google File System的集群文件系统,另一个是基于块设备的存储区域网络SAN系统。
3.2网络可靠性
由于涉及到整个平台里有数据库集群的运用，集群间节点会涉及到大量的数据交互，因此对于网络连接，我们强调系统的高带宽和连接的可靠性。目前主要的云计算环境里大多具备万兆以太网或Infiniband的网络连接能力。
3.3资源的可管理性
在标准的云计算技术体系结构里，管理中间件主要包含了资源管理、用户管理、任务管理、安全管理四个方面。在IaaS云平台中，我们主要重点关注资源管理的能力，IaaS应具备自动部署和配置管理设备的统一接口。
IaaS云中应具备容量规划功能，可以连续地对基础设施进行优化和整合。评估系统整合、均衡负载、更改系统属性，以及变更工作负荷以便确定如何移动工作负荷来提高利用率。应当具备良好的资源使用度量、监测手段，便于实现按照资源的使用情况来付费。
目前可以借助一些厂商 的IaaS商用套装软件，如HP 的Insight Dynamic VSE（Virtual Server Environment）、Oracle 的Grid Control等，可以方便地实现资源的整体控制和基础资源使用度量计费。
3.4平台可扩展性及应用可靠性
3.4.1水平弹性扩展性
在业务支撑系统中，传统使用基于RISC的SMP 小型机，后续资源主要通过增加单系统的CPU 和内存，这种硬件组织方式属于现有业务支撑系统里普遍成熟组网方案，我们称为垂直扩展方式。
但是在IaaS云里，我们强调的是弹性水平扩展，弹性中对应用部署所需的虚拟机是预先创建的，并由应用实施者通过内网组建一个集群，这些虚拟机放入到一个Pool中，按照策略进行启动所需的虚拟机实例，简单说就是IaaS管理服务只关注池里面有多少虚拟机，然后按策略停止或者启动这些虚拟机。
水平扩展并不是依靠硬件厂商的基础设施资源管理软件来做数据库分布式应用的，仍然需要基于传统的Oracle RAC集群或类似Google GFS等分布式软件技术来实现数据处理能力的水平扩展，即需要把数据存储处理的过程分散到网格里不同节点去实现的。
3.4.2应用可靠性因素
(1) 灵活的应用迁移调度
当物理服务器或虚拟服务器发生意外宕机时，应具备将工作负载转移到备用位置上的物理服务器或虚拟机的能力，以保持 特定应用的高可用性。可以实现 N+1或者 N+X的备份方式。
(2) 高可用的数据库集群
目前大型DBMS在海量数据的OLTP商业应用中已成为制约整个信息系统性能和效率提升的瓶颈,传统的提高单机的硬件配置和优化数据库系统性能参数的方法只能有限地提高系统性能。因此,基于多机并行处理的数据库集群也是我们考虑本项目关注的热点。以高性能、高可用性和高可扩展性为目标。水平扩展需要借助于传统的数据库集群技术，较为常见的有Oracle的RAC（Real  Application Cluster），IBM DB2 PureScale等。
4、IaaS云计算方案设计
IaaS基础设施架构在大规模的廉价服务器集群之上，企业私有云计算平台是可供销售的软、硬件集合,用户基于这些软、硬件产品构建自己的云计算应用。目前业界较为典型的有HP BladeMatrix、IBM 蓝云、Oracle ExtraData等私有云的解决方案，属于大规模并行网格(MPG)的典范， Oracle ExtraData是软硬件一体化的数据库层的企业私有云典型解决方案，但总体三者硬件本质上均为采用大量低成本的的X86架构的服务器。
为提高集成度，同时看重了成本优势及网络连接里Virtual Connect以及HP资源管理软件的优点，本项目建设单位在项目里主要考虑采用基于HP 刀片服务器加EVA4400存储的Blade Matrix的云计算方案,。
4.1基础资源建设方案
4.1.1计算资源方案
(1) 应用数据库计算资源部署方案
数据库系统对于运营系统而言至关重要，需要重点解决资源可靠性与后续扩展性问题。
方案：考虑到数据库服务器资源占用较高，对数据库计算资源考虑部署一个C7000刀片服务器框构建统一电子渠道数据库资源池，采用刀片服务器（8片/框，每片80万TPCC以上），每两片刀片服务器构建一个子数据库集群，实现三个数据库的独立部署。
2片做网上营业厅数据库、2片做WAP营业厅数据库、2片做门户网站数据库、1片备份（即N+1备份，单片刀片配置较高能力），利用资源管理软件，灵活调度硬件资源，当某个渠道的数据库能力不够时或者某片刀片出问题宕机了，可以通过资源管理软件将备用的硬件资源重启起来用充当数据库服务器，并快速地实现应用的迁移，通过这种方式可以做到灵活地调度资源，数据库硬件利用率高，恢复业务需要时间短，稳定性较好。
硬件的可靠性采用N+1的冗余模式，如图3示。



图3  计算资源池刀片（N+1）可靠性容灾方案
(2) WEB展现层计算资源部署方案
方案：采用刀片服务器（8片/框，每片30万TPCC以上），同时考虑到部分WEB应用的低负载情况，在部分刀片服务上部署了VMWARE,构成了一个硬件服务器和虚拟机共存的计算资源池。
方案中可以通过HP SMP（Server migration Pack） Universal 将操作系统、应用程序和数据从一台服务器迁移到另一台服务器，而不是将这些组件手动重新部署到新的服务器上。
支持的迁移类型：
(1) 物理至 ProLiant (P2P) ― 将物理服务器迁移到 ProLiant 服务器；
(2) 物理至虚拟 (P2V) ― 将物理服务器迁移到 Microsoft Virtual Server  或 VMware 虚拟机主机内的虚拟机；
(3) 虚拟至 ProLiant (V2P) ― 将 Microsoft Virtual Server 2005 或 VMware 虚拟机主机内的 guest虚拟机迁移到 ProLiant 服务器；
(4)  虚拟至虚拟 (V2V) ― 在不同的虚拟层之间迁移 guest 虚拟机，这些虚拟层包括 Microsoft Virtual Server、VMware ESX Server、VMware Server 、 VMware GSX Server和Citrix xen等。
4.1.2存储资源方案
由于电子渠道统一平台属于典型OLTP应用，为提高系统的读写操作响应速度，同时也考虑了应用集成商对主流数据库Oracle RAC部署的成熟度（RAC是基于共享盘阵的），我们在方案中暂未考虑使用一些基于LAN的纯分布式存储节点方案（如My Sql Cluster存储节点）。
方案：统一按照SAN的架构进行存储虚拟化部署，SAN提供的是块设备接口,需要在此基础上构建文件系统,才能被上层应用程序所使用。方案部署了一台磁盘阵列EVA4400用于实现基于SAN的存储资源虚拟化。
4.2网络可靠性方案
由于采用刀片服务器组网，网络连接直接采用在刀箱内配置Infiniband交换机和虚拟连接，大大减少工程布线连接复杂度。
(1) 高带宽
方案中采用InfiniBand 交换机板卡，InfiniBand被用于解决刀片服务器扩展能力受限的问题，通过提供与外部PCI 扩展模块的连接，InfiniBand 使多个刀片服务器或机箱能够共享原有的PCI 外部设备。
(2) 虚拟连接
VC （Virtual Connect）是整个IaaS云里至关重要的一个环节。因为VC需要虚拟所连接主机的网络连接地址，如MAC 和WWN等，这样可以保证每次迁移无需调整物理连线，也能快速接管所替代资源的原有网络接口信息。
HP Virtual Connect Enterprise Manager (VCEM) 用在刀片式服务器上管理逻辑服务器。VCEM 简化了对多个 HP 刀片系统机箱的管理过程，机箱间采用 Virtual Connect 来控制 LAN和 SAN的连接，为管理网络基础结构连接提供了一个控制台，为管理 LAN 和 SAN 地址提供了一个中心资源端口，并提供了有利于快速部署和移动服务器的分组功能。
4.3资源的管理方案
HP Insight Dynamics -VSE套件是一款基础设施管理软件，可以完全相同的方法连续分析和优化物理与虚拟资源。主要包括了HP Systems Insight Manager、HP Insight Control和惠普虚拟服务器环境软件，是一款集成的管理解决方案。
同时，HP Matrix云计算架构是支持各种的应用和数据库软件的，其管理软件中有ORACLE RAC标注应用模板，配合ORACLE 数据库，可以方便地实现数据库集群配置，甚至实现应用的自动部署。提供了各式各样的标准应用模板（包括Oracle RAC、SQL、SAP等配置模板），这些应用模板能够使应用和数据库软件的使用标准化，自动化。
4.4平台的扩展方案及可靠性
4.4.1扩展方案
HP Matrix云计算架构具有较好的平台扩展特性，可以实现多个机框的堆叠，最多支持达到1500台逻辑服务器的规模。
逻辑服务器是一种能够轻松创建，而且能够在物理和虚拟机之间自由迁移的服务器配置文件。根据性能或服务级别要求，能够在物理和虚拟机之间自由迁移服务器的配置文件。配置文件包含逻辑服务器的定义和说明，其中包括服务器计算资源（例如，CPU 核数和内存量）以及到存储基础结构和网络的服务器连接。这些配置文件可以在不同的刀片机箱或同一个刀片机箱内的刀片服务器之间迁移。



图4  计算资源硬件的扩展示意图
4.4.2平台的可靠性
Blade Matrix云方案支持在多对象之间迁移工作负载，从物理基础设施到虚拟基础设施（或反向亦可）、从非HP x86服务器到HP x86刀片服务器，以及从一个hypervisor到另外一个hypervisor，形成了更加灵活的基础设施环境。可创建、启动、关闭逻辑服务器模板，并可进行离线存储，以便重复使用；可重新激活保存的模板，迅速启动应用，保持较高的业务服务质量级别；可对Insight Recovery软件进行扩展，以便在两个站点之间实现经济高效的灾难恢复。
4.5方案特点
(1) 提升资源利用率，降低企业建设成本，该方案造价仅为同等能力小型机方案的三分之一至二分之一。
(2) 网络化部署，业务“能力”一点部署，全网服务；
(3) 提升管理效率，提高运维管理质量；
(4) 提高基础资源部署速度，提高对业务的快速响应能力，加强支撑公司全业务环境下的核心竞争力；
(5) 提供经济且自动化的节点故障转移和灾难恢复保护；
(6) 方案具备出色的物理和虚拟基础设施应用迁移能力。 具备高级可视化及实时规划等特性，它支持逻辑服务器技术，可通过逻辑服务器快速轻松地迁移资源，与传统集群解决方案相比，能够更经济地实现更高级别的可用性和更出色的服务质量。
5、总结与展望
本文通过一则运营商电子渠道建设的方案，概要介绍一种IaaS云计算方案在电信IT支撑系统中的应用部署方案，希望能为IT支撑系统其他类似系统部署云计算抛砖引玉。
囿于运营商内部管理组织结构的限制以及对成熟传统技术的偏爱，大范围的IaaS云计算资源部署尚待时日，但针对某些特定专业的系统，运营商已着手进行一定规模云计算的部署，用于降低建设及扩容成本。可预见未来信息技术的发展目标是达到资源充分共享和服务极致专用的矛盾统一。
在今后一段时间内，企业引入私有云是循序渐进的，云计算将与企业网格计算融为一体，实现紧耦合高新能科学计算和松耦合高吞吐商业计算的融合，使互联网上的主要计算设施逐步融为一个有机整体。


原文地址：http://labs.chinamobile.com/mblog/699187_155985