中国进出口银行灾备系统应用

shujuhuifu802

                当前，随着金融信息化建设的不断深入和发展，越来越多的业务通过计算机处理，有效地促进了金融业务的创新和发展。众所周知，存在于计算机业务系统中的关键业务数据是及其重要的，这些业务数据的实际价值往往会超
过固定的有形资产，甚至难以用金钱来简单衡量。近年来，在行党委的高度重视下，中国进出口银行的信息化建设取得了长足的发展，许多核心业务系统已投产上线，并取得了良好的经济效益。进出口银行属于政策性银行，其自身的业务数据量虽然不大，但每笔业务金额会很大，非常重要，而且数据类型比较复杂。数据就是银行的生命线，直接影响到银行的经营决策，这些数据必然需要得到安全完好的保护。
---- 如何保护好计算机系统里存储的数据，保证系统可靠稳定地运行，就成为信息化建设中最重要问题之一。虽然进出口银行原有一套备份系统，但该备份系统是构建在SCSI+LAN的环境下，随着系统系统环境的变化和业务的发展，备份资源已捉襟见肘，数据备份、恢复时间长、系统支持策略不完善、占用局域网资源过多、备份系统存在单点故障等问题随时威胁着业务系统安全运行的连续性。为摆脱这种局面，需要对备份系统进行升级、改造，实现集中备份、集中管理的目标。新的
[color="#0000cc"]CA
BrightStor Enterprise Backup（以下简称CA BEB）备份项目于2004年12月开始立项，由于硬件设备等原因，项目于2005年6月中旬开始实施，经过近两个月的计划、测试、实施、试运行后，于2004年8月正式投入运行。该统目运行以来，为保障生产系统可持续运行提供了安全、灵活的热备份方式，降低了备份期间局域网压力，为提高储存备份工作效率、减少差错、规范运行管理发挥了重要作用。
原有备份系统不适应业务发展
---- 原有备份系统是构建在SCSI+LAN的环境下。使用一台
[color="#0000cc"]Sun
Ultra 10作为备份服务器，STK L80带库两磁带驱动器通过SCSI电缆串联机械手同备份服务器连接；原有带库备份软件为标准的CS结构，综合业务信息系统、分行帐务系统等业务主机分别安装客户端和相应数据库的插件，备份数据流和控制数据流均通过局域网LAN在备份服务器和业务主机之间传递；带库中的两个磁带驱动器只接受备份服务器的单点管理，由备份服务器统一协调备份任务触发与执行工作。
---- 原有备份系统的缺点显而易见：
---- 首先，单点的备份服务器设置，导致备份系统自身存在单点故障的可能，又怎能满足对业务系统的不间断备份，保证业务系统连续性？
---- 其次，对LAN资源的大量占用，无法保证在峰值时业务系统可以使用到足够的带宽，降低总行、甚至广域网业务系统执行效率。
---- 再次，原有备份系统
[color="#0000cc"]Oracle
数据库插件支持热备方式，但须通过rman工具实现，这就增加了数据库管理员日常维护工作量，并增加了备份系统逻辑复杂度，使存在更多可能的故障点。
---- 最后，备份数据通过LAN传输至备份服务器这一单点控制端，造成备份服务器成为流量瓶颈。经过实测，虽然原有系统支持两个带机并行工作，但由于备份服务器的流量瓶颈，备份数据流总和在480m/min左右。为保护原有系统的投资，并使其发挥更大的效益，经领导批准，决定对原备份系统进行升级。
精心规划设计方案
---- 随着进出口银行业务的不断拓展，尤其是总、分行会计核算业务系统合并后，总行业务系统数据量急剧增加，总行核心生产机系统对 备份的数据量、完整性、效率、控制性等方面提出了更高的要求。近年来，进出口银行信息化技术设施发展迅速，总行中心机房建立了较为先进的存储区域网（SAN），该存储区域网（SAN）通过两台光纤交换机集中将各核心业务系统连接至一台HDS 9970V阵列，形成集中存储的统一架构。
---- 为保护备份系统原有投资，同时又充分利用已经建成的存储区域网（SAN）资源，实现LAN-FREE备份，我们决定在现有的备份系统上进行升级改造，将其从LAN环境中移植到SAN环境中。由于环境变化，需要购置新的备份软件和相关硬件。在软件产品选型上，通过项目招标、审核，并经项目组慎重研究，最终选择了CA公司的CA BEB产品。CA BEB作为业界领先的集成化的备份管理软件，其丰富的功能可以满足管理、容量规划、高可用性和业务连续性的需要，减小存储的风险，提高存储效率。在项目论证期间，我们与CA工程师对方案计划进行了讨论。由于这次实施上在原有结构上进行改造，比新建一个系统考虑的问题要复杂的多。经过充分论证，我们决定通过桥接器来实现带库备份网络架构从LAN到SAN的转移，这种备份结构的实施在CA案例中尚为首例，项目实施存在不小的难度和风险。新的备份系统的结构如下图所示：


SAN环境下集中备份系统结构
---- 硬件架构：利用现有SAN环境，将STK L80带库从备份服务器的SCSI直连剥离，通过一台SCSI to Fiber channel的桥接器将带库接入SAN环境。如此一方面可以利用SAN开放、智能和集成的特性，进行存储系统的快速部署及资源共享，满足目前的系统、应用备份的需求，另一方面，应用系统的数据也可以通过SAN实现高速备份，避免了对应用其网络的影响。同时，随着存储规模和数据量的增长，可快速平滑地实施存储设备的升级和Serverless备份技术的实现。
---- 软件架构：此次选用的CA BrightStor系列软件支持分布式备份服务器部署方式。即在SAN环境下，单独设立一台主备份服务器连接于SAN以及LAN环境，以减少LAN环境周边服务器备份数据流量对生产系统数据库服务器的影响；同时，由于每一台接入SAN且需要数据备份的主机均可直接访问磁带库设备，故在每一台主机上部署备份系统软件作为分布式从备份服务器，利用备份软件对设备并发调用的协调和管理功能，实现多作业、多数据流、多服务器相应的并发备份方式。由于生产系统均为主备结构，故只需对Active的主机部署备份系统服务软件，所有备机安装客户端以保证应用临时切换至备机时的备份需求。
详细测试，攻破难关
---- 项目实施须事先较为复杂的连接拓扑，实施目标除延续并完善原有备份策略外，更重要的就是实现存储备份网络从LAN到SAN的转移，同时还要确保生产系统的持续运行和数据备份的完整性与连续性。为此，必须制定详细的测试计划。
---- 首先应针对项目实施计划，制定详细的备份、恢复策略及应急预案，在改变任何硬件架构、连接拓扑或装卸软件前均进行必要的备份，在新系统完成测试上线前、后均进行系统的全备份。其次结合生产系统实际搭建新备份系统测试环境并进行相关测试。具体测试环节为：
---- 一是新备份系统测试环境准备。安装相应服务器系统软件并升级至必要的版本，升级光纤交换机、桥接器、光纤通道卡及带库等硬件设备微码，并根据备份系统软件要求调整部分操作系统参数。
---- 二是更改连接拓扑，按照技术方案搭建新的备份环境，划分新的光纤交换机zone，并进行连通性测试，以每台主机均能独立控制带库机械手与磁带读取为成功标准。
---- 难点一：AIX系统理论上对硬件驱动的安装与加载均可动态完成，无需系统重启，但这是针对已识别设备而言。即是说，在AIX系统ODM库中预定义部分已存在的设备型号，驱动安装后设备可即时启用；而对于第三方不被AIX预定义设备资料库包含的，在安装驱动后必须重新启动加载新的ODM库文件，并执行mkdev生成设备逻辑控制端口，才能实现对设备的正常驱动。
---- 三是安装软件并进行带库并发控制测试。通过备份系统软件自有逻辑，同时发出带库机械手或磁带读取指令信号，检验对带库即时信息的同步性和将实时控制信号排队、动态发布、均衡负载于两台磁带驱动器的功能。
---- 四是搭建各业务系统软件架构，分别安装Oracle、Informix等系统插件，验证备份软件的实现逻辑，测试备份系统对数据库数据等数据的备份完整性、实时性、一致性与可恢复性。

---- 难点二：经过前期市场调研与软件试用，现在业界备份软件对数据库系统备份几乎都是通过数据库自有工具或功能实现，通过第三方备份软件实现提升操作界面、备份后数据管理、恢复可操作性等功能
，CA BrightStor系统也是如此。对数据库备份工具或脚本的调用需要有严格的运行环境参数，在实施或测试前一定详细阅览数据库及备份软件的文档资料，以使二者的配合达到良好的效果。
---- 难点三：原有备份系统软件对Oracle数据库的备份是通过Oracle系统自带工具rman（Recovery Manager）实现的；CA BrightStor系统直接调用Oracle数据库alter database backup all命令备份，这就不需要再建立rman库实例、配置rman工具备份脚本，实现逻辑较为简单，大大降低了维护的工作量，但需要Oracle数据库运行于归档日志模式。作为系统管理员，同时要对归档日志的数据量做出预期，并相应的调整系统存储策略。
---- 五是由于实际环境较为复杂，除集中存储于阵列的部分应用系统外，同时还存在部分DAS或NAS环境备份需求，需要通过CS方式实现。在这部分服务器上分别安装了客户端（client），通过LAN方式连接备份服务器（Server）传输控制信号与数据信号。
---- 六是对BS模式控制、Portal信息发布部署。我行在中心机房设置了值班室，24小时监控中心机房及服务器状态，遇到异常可即时解决，严重异常可通知技术支持人员处理。BEB系统的Portal信息发布模块可以支持我行运行监控管理模式，值班人员使用特定权限用户，通过浏览器加载Java虚拟机后可以浏览备份任务完成信息；技术人员可使用管理员用户现场或远程调整备份策略，排除系统异常。
认真组织系统上线
---- 在通过对测试环境的细致测试与评估后，开始筹备新备份系统的正式上线工作，需要考虑以下因素：
---- 一是虽然备份系统切换对关键业务系统无影响，但考虑后台系统运行连续性等因素，须在切换前使用原备份系统执行系统全备份，及使用小磁带等方式进行操作系统部分数据备份。
---- 二是备份系统切换对关键业务连续性影响的考虑。备份系统的切换无需业务系统任何改动，但由于系统软件的安装、硬件设备的识别等环节可能需要生产系统重新启动，以及从备份系统切换带来的备份数据连续性风险等方面考虑，对切换应给予同后台系统升级相等级别的操作等级规范要求。
---- 难点 由于通过桥接器识别第三方机械手设备需要重启主机设备，可利用双机热备环境分别切换备份系统，以将业务系统中断时间减到最少。由于控制带库的服务器端软件只安装在主机，故先将应用系统服务切换至备机，主机备份软件系统部署完毕并重新启动后，再将应用系统服务切换回来，由于备机只安装客户端软件，故无须重新启动。
---- 三是备份系统切换对备份数据连续性、完整性影响的考虑。备份系统切换后，新的备份系统从数据备份格式、磁带使用方式到数据备份存储策略等均和原有备份系统不兼容。备份系统升级后，一方面我们享受到新的体系架构带来的优势，另一方面我们必须放弃原有环境中所有即成的备份数据和策略。
---- 难点 为保持备份数据的连续性和完整性，原有备份策略永久保存数据中的部分数据需要移植备份至新的备份系统，否则会影响恢复策略的实现等环节。可以选择的方式有多种，在备份机或测试机建立临时存储空间以供原有备份系统将需要移植的数据恢复，待备份系统切换后，再使用新的备份系统备份并根据新的备份策略进行保存。
系统切换过程中需要注意的问题
---- 所有准备工作就绪后，按照事先制订好并已经过测试的实施方案开始进行备份系统切换工作。对于生产机的任何操作均需小心谨慎，在增加新硬件--机械手后立即进行控制、读写等相关测试，并留意是否对通过共同光纤通道卡的阵列磁盘读取有任何影响，查看日志后可将应用服务切换回主机。
---- 难点 作为备份服务提供方的BEB Server系统软件需要一个IP地址已对外提供服务。HACMP环境下主机的2个IP地址均为浮动IP地址，这样就对备份系统服务提供的连续性和稳定性造成了一定的影响。针对这种情况，我们建为所有的非业务系统服务，如主机监控系统、网络监控系统、备份系统、流程管理系统等，单独指定一个静态的IP地址，可以利用第三块网卡或几乎所有RS6000均配备的板载网卡实现。这样不仅可以规避浮动IP带来的风险，也可以通过设置VLAN、添加防火墙等手段实现更高的安全性。
备份策略的制定至管重要
---- 作为保证业务生产系统日常运行的带库备份系统，我们对原有备份策略作出较大调整。
---- 首先，提高部分生产数据的备份频率。为保证生产系统业务连续性，尽量减少服务中断时间，需要针对各种系统故障或灾难制订更为简洁的恢复方案，更需要最接近故障或灾难发生时间点的备份数据。因此，提高生产数据备份频率显得尤为重要。结合新备份系统媒体池对带库中磁带管理的优秀特性，可以在相同的带库容量条件下备份更大的数据量，为提高备份频率提供了可行性。
---- 其次，尽量减少永久保存的备份数据量。为保证业务系统日常运行，理论上仅需保存最新一次或几次的备份数据，过期数据均可以被认为是失效数据。同时，减少永久备份数据还可以增强设备及系统的专用性，提高带库的使用效率和管理效率。对于部分需要永久备份的数据建议使用专用备份系统，如程序备份使用版本控制系统，数据备份使用前台导出数据异地备份等方式。
---- 最后，尽量少用增量备份策略，与之相对，多使用全备份策略。由于增量备份对指定简洁的恢复策略不利，虽然备份系统大都可以自动完成此过程，但对于数据库、中间件等备份插件，在一定程度上还是增加了恢复操作的时间和复杂度。因此在带库容量允许的情况下尽量减少增量备份策略的使用，在备份数据量和恢复策略简洁性之间达到一种平衡。
系统实施效果显著
---- 新的备份系统成功实施之后，在备份速度、备份频率、备份数据量以及备份数据完整性、数据有效性、数据及时性等方面均有较大幅度提高，具体体现在：
---- （一）自动化、集中化的工作方式延续了我行带库备份数据的连续性和完整性，满足对业务系统数据的日常备份与恢复需求。
---- （二）不再占用LAN资源。备份系统迁入SAN环境后，除少量控制信号数据通过LAN传输给目标服务器外，备份数据流均通过SAN光纤通道传输，减轻了LAN的压力，保证了业务系统的正常通信。
---- （三）LAN的兼容性。在带库备份系统迁移至SAN环境后，也能够对LAN环境的服务器备份需求进行兼容。
---- （四）三台服务器对SAN网上的磁带库、磁带机、磁带设备均共享使用、并发工作，同时带库备份数据传输速度提升十分明显。（1400MB/m:480MB/m）
---- （五）服务器冗余性。带库备份的主服务器仍然使用现有资源，同时可以将SAN结构中的任何服务器指定为备份服务器，一旦主备份服务器不可用，备份服务器可以立即投入使用。
---- （六）以不影响业务正常运转为前提，BEB可以实现对业务数据进行在线或离线备份。通过BEB热备模块支持，可以不启用数据库相应热备服务就能够更好的对在线数据库进行备份。
---- （七）完善的备份策略和介质管理机制。利用CA提供的基础备份策略库支持，制定比现有环境更加合理完善的备份策略；引入的介质池（mediapool）的概念，使备份数据能够得到更有效、安全的保护。
---- （八）使用Portal集中控管。使用Portal可以对各个主、备备份服务器进行统一集中的控管，提高管理效率，增强系统可控性。
项目 原有系统 新系统
对LAN资源占用 非常多 没有
备份数据传输速度 480MB/m 1400MB/m
现有策略备份时间 3.2小时 1.5小时
控制方式 CS（制定位置） BS（任意位置）
带库驱动器使用 任务并发模式 任务、系统双并发
服务器冗余 单台 多台冗余
人力资源 工程师1人 职守人员1人
每日备份工作量 1次操作，1次察看 1次察看
节制使用效率 7盘/日 3盘/日
[/url]
               

本文来自ChinaUnix博客，如果查看原文请点：[url]http://blog.chinaunix.net/u3/93145/showart_1890591.html