解读航研院NDMP协议下巧用虚拟带库案例

bfhf5753

小周在某航天研究所已经工作了5年之久，对以前研究所业务数据管理的混乱可是深有体会。
    原来，小周所在的航天研究所目前有几十台UNIX和Windows服务器，分别担负着集成办公系统、财务管理系统、型号调度系统、质量管理系统、数字化协同设计AVIDM系统、资源计划管理MRPⅡ系统、邮件服务等。基本上每台服务器都承担了相应的应用，上面都储存着大量数据。

    这些数据的类型、格式都各不相同，且分散在各个不同的服务器内部。每次院里的领导需要资料报表啊什么的，总是需要在不同的服务器上找来找去，很耗费时间。而最关键的问题是：每台服务器的重要内容及文件都存放在服务器本地硬盘上，仅有的数据备份（档案管理）系统是采用较原始的DVD光盘刻录方式。
    由于没有服务器的冗余机制和备份措施,仅仅用光盘刻录来进行备份的数据保护方式不仅仅安全性差，而且无法解决对于存储空间增长及备份的需求。一旦服务器出现问题，数据丢失是灾难性的，并且难以恢复。而且，各处、室、课题组的电子文档及相关图档也没有专门的备份空间，重要文档也随处散乱的放在各处、室、课题组的服务器内，不容易统一管理，一些保密级别高的数据也没有必要的措施进行保密隔离。
航研院信息系统噩待改造
    航天所是国家进行航天科学研究的重要机构，但是信息系统建设却如此落后，而且极其缺乏数据保护的安全意识，小周也有些无可奈何。好在所里需要再上一套PDM系统，趁着系统升级的机会,小周和院里的领导一起研究后，决定好好规划一下航研院的IT系统和数据保护策略，建立生产、管理、研发、办公、财务一体化的信息系统，并对数据进行统一备份来实现数据安全保护。
    基本上服务器的规划和选型小周这边都有把握，但存储备份系统到底要如何规划，小周以前可是从来没接触过。这不，小周又找到了我这个老同学来帮忙分析他们的规划需求。嘿嘿，老同学都开口了，我也不能糊弄，听完小周的介绍后，我们大体归纳出了几条小周所在的航研院的存储改造需求：
存储大集中是改造基础
    下图是小周所在航研院的系统架构图：

    在以前的工作中，小周最头疼的地方就是：应用环境中有多台服务器，服务器的品牌和操作系统版本也各不相同。虽然每台服务器上都有一定的存储容量，但随着应用系统的不断发展，有些服务器的容量已经接近甚至达到了饱和状态，而对单台服务器的存储空间进行扩展又受到诸多限制，无论从技术上还是从经济上考虑都是不可取的。此外，一旦PDM系统正式启用，其数据量将会急剧增长，没有一个海量的存储空间集中存放数据将是无法想象的事情。
    因此，我们确定这套存储系统首先要能够满足其存储空间扩展的需求。我和小周一起分析了航研院的现有数据量，并估算了备份需要的冗余空间，及其未来增长的推算，最终我们确定存储系统的设计裸容量应在6TB以上。
实现跨平台的数据共享
    此外，根据小周的描述，在航研院已经很复杂的的网络应用环境下，比如集成办公系统、财务管理系统、型号调度系统、质量管理系统、数字化协同设计AVIDM系统、资源计划管理MRPⅡ系统、邮件服务等。面对这样一个复杂的、多主机、跨平台的应用环境共享同一个存储系统，可想而知，该存储系统应该是一个功能十分强大的存储产品。它不但要能够实现数据可靠存取的基本需求，还应满足以下几个要求：
    1．能够支持各种主机操作系统的连接，支持多种数据格式的资料存储。
    2．能够实现不同系统和应用之间的数据共享，支持多种共享方式，比如可设置多个共享区供不同的用户同时访问；重要的科研成果数据要能够根据权限的设定快速地被其他用户访问，而对不具备相应权限的用户，应该有有效的数据保护方式限制访问。
    3．航研院有众多的科研科、室、处以及课题组，每个科研人员都是在电脑上完成设计工作，因此都需要一定的存储空间来存放。统一后的存储平台要求能够为众多用户分配一定的存储空间并设置权限，使用户形成集中的信息存储，同时，也便于用户随时随地存取或交换数据信息。
    4．存储系统应具有高速的I/O传输速率，同时系统应是冗余设计，避免产生单点故障。
    要达到以上的存储要求，我向小周建议了SAN存储网络结构。尽管造价相对而言更高一些，但存储资源的管理性、扩展性，相比以前的分散式的存储孤岛，绝对在性能上有了质的提高，相信小周他们在1-2年内就能体会到SAN系统的优越性。
    但是，仅仅完成存储系统的集中还远远不够，航研院内还保存了很多的重要科研数据，这些科研数据都需要被有效的备份并保护起来。
备份改造是重点
    小周这次系统改造的重点之一就是备份系统的改造，需要彻底摆脱以前光盘备份的数据保护模式，重新建立一种自动化、易管理、高效率、高可靠性的统一备份平台。但是我们仔细分析过小周的需求后发现，小周的航研院建立备份系统还有一些麻烦的地方。
    原来，航研院多年以来，已经发展了诸多的应用，包括集成办公系统、财务管理系统、型号调度系统、质量管理系统、数字化协同设计AVIDM系统、资源计划管理MRPⅡ系统、邮件服务等等，这些应用所产生的数据各不相同，尤其是航天科研成果的一些电脑文件，往往以文件形式保存在服务器中，而这些数量众多、类型不一的文件正是我们需要备份的主要数据文件。
    这些文件在文件存储器中进行保存，也就是我们常说的NAS设备，我们可以在NAS基础上共享文件，不仅为文件存储提供了大量的存储空间，同时还支持不同操作系统的文件互相访问，因此给文件存储和使用带来了很大的方便。但缺点是存放在上面的大量文件不容易备份，占用网络带宽。由于大部分NAS设备都是遵循NDMP协议的基础上开发的，因此实际上我们面临的是如何解决NDMP协议下进行文件备份的问题。
    我们最终规划的备份系统是在SAN存储系统之中加入一套虚拟磁带库备份系统，根据备份管理软件制定的策略，实现无人值守的数据自动化备份。
    虚拟磁带库备份速度快（150MB/秒），备份成功率高，数据存放于安全可靠的容错磁盘上，从而保证了数据的高可恢复性。备份管理软件可以根据单位具体情况，灵活地按需定制备份任务，实行策略性管理。备份管理软件不仅可以对一般文件进行备份与恢复，还可以对各类数据库进行备份与恢复。无论是虚拟磁带库还是备份管理软件都可以根据企业数据和应用的增长而扩展。
    系统改造后的示意图：

NDMP协议下巧用虚拟磁带库
    其实小周所在的航研院的备份需求有很强的代表性，一般的公司，无论大型企业还是中小企业，在具体IT应用环境中，往往都会采购NAS设备解决文件存储的问题，或者把原有的服务器改造成NAS文件服务器进行文件的存储。而NAS设备往往是基于NDMP协议的基础上开发，因此NDMP方式下的备份一直困扰着很多用户。
    熟知备份工作原理的人都知道，备份相同大小的一个大文件和一些小文件，他们备份和恢复的时间是不同的，并且相差很悬殊。而遵循NDMP协议的NAS设备中的文件大部分是一些小文件，而且数量相当的庞大，不可避免给备份系统带来极大的工作负担。
    由于NAS设备一般通过网络进行数据传输，所以很大的备份/恢复窗口很容易就造成了网络的拥塞。在此我们给小周推荐的VTL使用窍门是：
    1. 将虚拟磁带库中的逻辑驱动器共享给NDMP协议设备和其他应用服务器设备，不过这个需要购买的备份管理软件支持这个共享的功能；
    2. 将VTL中虚拟出的驱动器逻辑捆绑一个给NAS设备单独使用，这样，数据通过备份管理软件的NDMP模块可以将NAS中的大量数据不通过LAN网络直接备份到VTL中，从而解决网络拥塞的问题。这根据不同的备份管理软件需要添加的模块也不尽相同，需要根据实际情况考虑。
    在NDMP的环境下，如果我们通过如上的方式来使用虚拟带库，就能够在性能上获得明显的改观。对于已经购买了虚拟磁带库的用户，那么投入的成本不会有太大增加，只需要在虚拟磁带库里面把一个或几个驱动器映射给NAS设备用。然后购买一个备份管理软件NDMP备份模块即可，就能够以极小的投入获得备份性能的大幅度提高。
    这种NDMP协议下的虚拟带库使用方式一般比较适合中级用户，如网络运营商、网站、保险公司省公司、电力系统集中存储的、大型图书馆等等一些广泛使用NDMP协议的NAS设备，并且NAS中数据量特别大的用户。



本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/71105/showart_971539.html