DIVArchive智能分布式归档管理系统综述

copyking

　  数字化的存储/归档管理早已开始应用，数字化归档/存储的媒体资产已经是电视台最核心的资产。在某些情况下，电视台的业务均以资产管理为核心，所有的编播制作、新闻采集、素材录入、后期制作等已经全部采用数字化方式，而存储是各种设施赖以建立的基础，高效的存储管理、归档和提取服务是在此基础上建立框架的。电视台需要的不仅仅是存于磁盘存储上的立即使用的片段，同时也需要自动和透明地将文件在近线(NearlineTM)存储(通常为磁带库存储，存储访问频率相对较低但总容量较大的内容)和在线磁盘存储(存储某些频繁访问的内容和资料)之间迁移和恢复。在此情况下，各种数据迁移管理系统应运而生，而DIVArchive智能分布式归档管理系统便是其中的佼佼者。目前，中央电视台硬盘播控系统中的数据迁移管理采用的就是DIVArchive智能分布式归档管理系统。
　　一、DIVArchive智能分布式归档管理系统
　　近线存储系统主要由磁带库和数据迁移软件组成，中央电视台硬盘播控系统中的近线存储使用IBM3584磁带库，而数据迁移软件则是采用FPDI公司的DIVArchive智能分布式归档管理系统。
　　1.DIVArchive智能分布式归档管理系统的特点
　　DIVArchive是英文DistributedIntelligentVersatileArchive的缩写，即分布式智能通用归档。DIVArchive的分布式和模块化的体系结构，能够为特定的环境定制灵活的解决方案，提供以下的优异性能：
　　当在线生产系统中的资产短期不需要用时，把其中的资产迁移到管理内容库中可使在线生产系统空间和花费得以节省;
　　归档的资产有集中的管理;
　　通过每个业务动态的配置，实现智能管理存储的资源;
　　资源自动配置，实现N+1的冗余;
　　系统有良好的扩展性，当增加新的存储资源或传输模块时，在操作上对系统的影响极小;
　　兼容市场上大多数的视频服务器或磁盘记录器，对于基于NT或UNIX的服务器有“plug&playinterfaces”;
　　无缝集成诸如广播自动控制和媒体管理应用软件等;
　　拥有图形工具的系统配置和监控。
　　2.DIVArchive智能分布式归档管理系统的构成
　　2.1迁移管理服务器(Divamanager)
　　迁移管理服务器主要负责处理来自应用系统中应用服务器发出的归档、删除和恢复请求，同时总体调度归档系统内的各种资源，分派任务给各个迁移服务器，以响应各种数据操作。
　　2.2迁移服务器(divaactor)
　　迁移服务器主要负责工作区存储和归档系统存储之间的数据迁移，同时接收迁移管理服务器分派的任务，并返回数据迁移结果给迁移管理服务器
　　2.3磁带库控制服务器
　　主要负责磁带库内部的磁带/插槽、磁带机和机械手的管理，同时接收和处理来自迁移管理服务器的各种磁带库访问请求，以响应归档数据的读写操作。磁带库控制服务器的应用需求分析
　　3.DIVArchive智能分布式归档管理系统的归档过程
　　DIVArchive的归档过程是这样的：数据迁移管理系统归档管理员(DIVAManager)通过其开放的API接口，接受来自某个初始应用(Automation)的归档任务指令，并将相应的任务指派给迁移执行员(DivaActor)，Actor响应manager的指令，并主动连接对相的源(视频服务器)，建立数据传输，通常情况下，先将素材迁移到缓存磁盘，完成后，紧接着，divamanager指派一台空闲的磁带机及足够容量的磁带供此Actor使用，实现素材从缓存磁盘至磁带的写任务。当此过程完毕后，Divamanager更新信息，并宣布任务成功完成。在归档的过程中，应用端随时可以向Divamanager获取任务执行状态。
　　4.DIVArchive智能分布式归档管理系统的建立与运行
　　

　　近线系统系统图

　　近线存储系统与外部(视频服务器和Automation)通过千兆以太网连接;内部为SAN存储架构，每台Diva服务器与所有磁带机通过FC交换机，构成SAN网络。
　　播出控制系统通过DIVA系统提供的API函数实现素材的迁移，迁移的目的包括：从视频服务器到近线存储系统进行播出素材的保存;从近线存储系统到视频服务器的素材导入。
　　迁移管理服务器DIVArchiveManager运行在windows操作系统上.它负责管理DIVArchiveManagersoftware、磁带库机械手和DIVArchiveOracle数据库。DIVArchiveManager经千兆以太网连接视频服务器(BML及BMLe)和Automation;经FC连接自动磁带库。
　　备迁移管理服务器和主DIVArchiveManager作为冷备份，当主服务器发生故障时，轻易快速的接手其任务，保证系统得以持续运行。
　　迁移服务器DIVArchiveActor负责从视频源到磁带或从磁带到视频源的数据迁移。迁移服务器DIVArchiveActor的数量依赖于每天的数据迁移量，保证在允许的工作窗口内完成所有近线与在线系统迁移任务。中央电视台的播控近线存储系统选用了7台迁移服务器DIVArchiveActor，确保了6小时内完成所有归档任务。
二.CCTV硬盘播控系统中素材归档与管理的具体设备
　　磁带库：IBM3584磁带库，三个扩展模块，和6台IBMLTO3FC接口磁带机组成;库中可以存储1100盘LTO3的磁带。
　　磁带库控制服务器/迁移管理服务器：使用同一组计算机实现，采用宝德(powerleader)机架式服务器，WIN2000平台，使用2Gb的FCHBA接口卡。
　　迁移服务器采用宝德(powerleader)机架式服务器，WIN2000平台，配备DIVAActor软件,实现数据从SEACHANGE服务器到磁带库之间的数据传输;每台服务器中配置1块2Gb的FCHBA接口卡。
　　光纤交换设备采用SilkWorm3800光纤交换机实现数据交换服务。
　　采用上述设备与系统结构,近线存储的控制路径与数据迁移路径完全分离，且设备具有较好的扩展性和实用性，实现了分布式智能化的数据迁移归档管理。
三.DIVArchive智能分布式归档管理软件的实际操作
　　近线存储系统能正常工作是在DIVAManager运行正常的基础上。见图一，如图所示说明DIVAManager(DIVA系统)运行正常。其它则说明系统不正常。
　　

　　图一
　　打开并连接controlGUI
　　见图点击连接按钮，并在弹出确认窗口上点connect，controlGUI连接后，左上角的人头图标将变亮，但仍未能对近线系统操作，需要登录。见图，点人头后将弹出一个小窗口，小窗口已经写有登录信息，点击OK即可。
　　登录controlGUI后，command下拉菜单全部变亮，以Restore某一素材为例，输入素材ID号，Category输入CCTV，选择回迁节点的IP地址，然后点Send即可。
　　CCTV常规频道硬盘播出系统运行已有半年，DIVArchive智能分布式归档管理系统以其分布式和模块化的体系结构，为特定的播出环境提供了较为灵活的解决方案。随着信息技术的快速发展，DIVArchive智能分布式归档管理系统在磁盘内容管理(水印)和通过用户定义的策略、自动化文件迁移等方面仍有进一步发展的空间。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/66684/showart_1666727.html