VMware虚拟化平台服务器日常维护和应急处理规范

圣钰佳泰

1  目的
为提高部门处理VMware虚拟化服务器故障的能力，形成科学、有效、反应迅速的日常管理流程和应急处理机制，确保虚拟化平台的安全和稳定运行，最大限度地减小服务器故障对生产的影响，降低业务中断风险，特制定本规范。
2  适用范围
本规范适用于公司局域网中所有提供VMware虚拟化平台服务的服务器管理，应对发生和可能发生的故障。
3  规范内容
   虚拟化平台服务器运维和应急处理应包括风险评估，检测体系和应急处理三个环节，合理有效的执行控制将防止故障影响扩大。
   3.1  故障分类
虚拟化平台故障包括服务器硬件和虚拟化软件的故障；自然灾害（水、火、电等）造成的物理**；电脑病毒等恶意代码危害；人为误操作造成的损害等。
3.2  应急准备
部门责任人员明确职责和管理范围，根据实际情况，安排应急值班，确保到岗到人，联络畅通，处理及时准确。
3.3  具体措施
（1） 建立安全、可靠、稳定运行的机房环境，防火、防雷电、防水、防静电、防尘；建立备份电源系统。
（2） 虚拟化平台服务器应采用可靠、稳定、兼容性硬件，落实责任管理机制，遵守安全操作规范；对虚拟机和管理服务器进行定时备份；采用有效的虚拟化监控工具，及时发现问题和日报告。
4  故障处理规范
4.1  机房停电
接到停电通知后，相关人员应及时部署应对具体措施，启动备用电源,保证服务器正常运行。
4.2  硬件维护
（1） 平台服务器出现硬件告警需要停机维护，服务器责任人应立即通知相关人员，将业务虚机迁移到集群中其他服务器主机上，再将故障服务器切换至维护模式并从HA集群中移除，负责陪同硬件厂家现场更换至成功恢复。
（2） 若服务器硬件24小时内无法恢复，服务器责任人需书面报告原因并立即通知业务管理人员进行数据应急备份,防止灾难扩大。
（3）若虚拟化存储硬件出现告警，第一目击人应立即通知存储管理员，并上报主管领导，存储管理员应在报告1小时内联系厂家到场处理，处理完成后因报告原因，找到解决方法；并立即对数据做完整性检查，消除重复发生隐患。
4.3  虚拟化平台故障
（1）虚拟化服务器应保证双机群集配置，并同时配置好一套备用服务器群集，随时待命。
（2）发生平台故障后，相关人员应及时查找、确定故障原因，进行先期处置。若故障在短时间内无法修复，相关人员应将业务迁移到备用平台环境中，保持业务系统的正常运行；将故障服务器脱离网络，进行故障排除工作。
4.4  虚拟机软件系统故障
（1）日常做好虚拟机的定时备份和快照，系统崩溃后，能够及时恢复虚拟机。
（2）发生虚拟机系统故障后，相关人员应及时通知业务人员检查出现故障的原因并尽快排除。
（3）如遇虚拟机系统需要启用备份系统进行恢复时，应在恢复后和业务管理员仔细检查业务是否恢复并做好恢复记录。
4.5 虚拟化管理服务器故障预防
虚拟化服务器采用群集配置。平台选用VMware的企业版，配套管理选用VMware vCenter标准版对虚拟数据中心管理单元进行集中管理，系统平台常年24小时运行，每天将产生大量的任务日志和记录信息。同时vCenter器担任了整个平台主机管理和集中配置的角色，使用率极高。为了安全，应定期备份VIM数据库，定期检查告警日志。同时考虑利用虚拟化平台定时P2V服务器为备用虚拟机。当实体化vCenter服务器出现不可恢复的硬件故障时，马上在虚拟化平台上启动备用虚拟机，从而减小平台失去管理的故障风险。
4.6虚拟化平台日常告警故障排除
当虚拟化平台出现告警信息，通过以下步骤排除：
（1）        确定故障原因。查看已触发的警报内容，确定故障前操作是否是引发该故障的原因，对合规操作引起的告警，进行消除。

（2）        对提示硬件产生的告警，应查看硬件状态信息，对确认是硬件的问题按硬件维护预案处理。

（3）        对提示因资源不足或性能引发的告警，因查看近期性能图表，找出原因，消除故障提示。

（4）        对于无法判断的故障，可导出系统日志发给厂家分析处理

5、虚拟化平台故障预防
5.1  平台管理初始状态备份
安装配置好vcenter服务器软件系统，经测试能够正常投入生产使用后，将数据库进行一次完成的备份，并记录配置信息。备份文件本机一份，移动存储一份。
5.2  虚拟机实时状态备份
平台上的虚拟机包括vmware提供的其他功能性服务器，应在测试通过后进行一次快照备份，并记录重要的配置信息。快照一周备份一次，一个月后循环更新一次。关键虚拟机投入使用后，用赛门铁克NBU软件定期（30天一次）备份。备份文件本机一份，移动存储一份。
6 虚拟化平台故障恢复
虚拟化平台系统出现故障，先对问题进行定位，按前述预案处理，若故障依然存在，通过以下步骤恢复：
（1）用快照进行虚拟机恢复。如果虚拟机中包括数据库和实时状态信息，要在恢复后进行必要的数据库文件恢复，并还原系统实时状态。
（2）用NBU从备份系统中进行系统还原，还原后进行必要的状态信息检查
（3）虚拟化操作系统恢复，通过重新安装虚拟化操作系统—vsphere还原底层平台，并重新部署到群集系统中。