虚拟存储技术的原理、优势及其应用

ccxnh5753

摘要：本文首先分析了存域网(SAN)技术的不足，介绍了新一代虚拟存储技术的相关概念及其优势。重点分析了虚拟存储技术的三种实现方法：在服务器端的虚拟存储、在存储设备端实现虚拟存储及在网络设备端实现虚拟存储。最后介绍了基于虚拟存储技术的两种应用实例：基于通道内虚拟存储技术的SDD和基于通道外虚拟存储技术的VSM，并对它们作了简要比较。 ?
　　关键词：存域网(SAN) SDDVSM?虚拟存储
　　1 引言?
　　当前，伴随着电视台的数字化进程，很多电视台已逐步建立起非线性后期制作网、数字新闻制播网及硬盘播出系统，台内大量音视频资料的存储与共享是亟待解决的问题，其关键是海量数据（TB级）的存储、共享、发布和管理问题。网络存储技术无疑为我们提供了一个很好的选择。?
　　存域网（Storage Area Network，SAN）是一种以Gbit/s带宽实现计算机和存储器之间的通讯，结合了I/O通道技术、LAN模型、大容量存储器特点的新型网络结构。SAN和传统计算机网络的根本区别在于SAN消除了服务器吞吐能力的瓶颈，当前，SAN已成为数字视频网络事实上的标准。SAN采用光纤通道（Fibre Channel，FC）技术作为协议标准，FC侧重于数据快速可靠传输，同时兼容各种网络协议，以最大带宽实现传输。在数字视频领域，SAN不但承担着视频数据的存储、交换、共享、转移，而且控制着网络设备的登记、查询、维护、删除等。
　　SAN是电视台视频网络的主干，处于整个视频网络的核心地位。?
    第一代SAN系统出现之初，的确为我们解决了视频数据存储与共享问题。但其仍采用传统网络结构进行存储操作，网络结构主要由交换机与集线器构成；将传统规范的硬件应用于新的存储结构中；应用传统的网络管理技术进行存储管理。基于上述特点，当存储数据达到TB级，网络站点（视频工作站）很多时将会出现以下问题：?
　　1）带宽处理能力小且分散，无法满足更多站点的访问。?
　　2）扩展性、升级能力差。?
　　3）稳定性、安全性差。?
　　为解决上述问题，人们开发了一项新技术——虚拟存储（Virtual Srorage）技术，并已经在存储网络中获得了应用。?
    2 虚拟存储技术概述?
    虚拟存储技术是随着计算机技术的发展而发展起来的。早在20世纪70年代，为了克服内存容量小成本高而不适应大型程序应用需要的矛盾，人们开发了虚拟内存技术。随着计算机技术及相关信息处理技术的不断发展，人们对存储的需求越来越大，单个大容量磁盘已不能适应应用的需要，虚拟存储技术又有进一步的发展，如在操作系统下将一组硬盘捆绑成带区集（STRIP）作为单个逻辑存储单元供主机访问；磁盘冗余阵列（RAID）技术将多个物理磁盘通过一定的逻辑关系集合起来，成为一个大容量的虚拟磁盘。从某种意义上讲，SAN本身也是虚拟存储技术的应用。?
　　2?1 虚拟存储技术的概念?
　　所谓虚拟存储技术，是指把多个物理上独立存在的存储体通过软件或硬件的手段集中管理起来，形成一个逻辑上的虚拟存储单元供主机访问。这个虚拟逻辑单元的存储容量是它所集中管理的各物理存储体的存储容量之和，而它的访问带宽则在一定程度上接近各个物理存储体的访问带宽之和。虚拟存储实际上是逻辑存储，是一种智能、有效地管理存储数据的方式。虚拟存储克服了物理存储的局限，它可以把物理设备变成完全不同的逻辑镜像，呈现给用户，既充分利用了物理设备的优势，如高性能、高可用，又打破了物理设备本身不可克服的局限性。从用户角度看，使用存储空间而不是使用物理存储硬件，管理存储空间而不是管理物理存储部件，这就是虚拟存储的概念。?
　　2?2 虚拟存储技术的优势?
　　虚拟存储技术不仅可以提高主机访问存储设备的性能，同时对于存储容量的扩展是非常方便的，可以保护原有投资，实现不影响正常数据访问的前提下的动态扩容。虚拟存储技术为实际应用带来的好处主要体现在以下几个方面：
?
　　1）虚拟存储技术使网络系统存储部分的重要指标——单个逻辑单元的存储容量和访问带宽相对单个物理存储体大大提高，适应了网络应用特别是视频网络应用的需要。?
　　2）在虚拟存储环境下，无论后端物理存储体是什么设备，服务器及其应用系统看到的都是其熟悉的存储设备的逻辑镜像。即使物理存储体发生变化，其逻辑镜像也不发生变化，应用系统无需关心后端存储，只需专注于管理存储空间，使得存储管理变得轻松简单，便于灵活配置。?
　　3）虚拟存储是一种智能化的系统，它允许客户以透明有效的方式在磁盘或磁带上存储数据，使客户的存储系统容纳更多的数据，也使更多的用户可以共享同一个系统。?
　　3 虚拟存储技术的实现方式?
　　 随着越来越多的厂商发展各自的技术，虚拟存储技术在视频网络的各个环节中都有所应用，目前，实现虚拟存储主要有如下几种方式。
?
　　3?1 在服务器端的虚拟存储?
　　这是虚拟存储技术的一种相对简单的实现形式，是用软件手段实现的，如图1所示。这类虚拟存储的实施都是通过服务器端将镜像映射到外围存储设备上，除了分配数据外，对外围存储设备没有任何控制。服务器端一般是通过逻辑卷管理来实现虚拟存储，逻辑卷管理为从物理存储映射到逻辑上的卷提供了一个虚拟层。服务器只需处理逻辑卷，而不用管理存储设备的物理参数。这种方式扩展了服务器所能访问的单个逻辑存储单元的容量，并在一定程度上提高了其访问带宽。用这种方式实现的虚拟存储系统，服务器端是一性能瓶颈，在视频网络领域的应用已不多见。?
　　3?2 在存储设备端实现虚拟存储?
　　这种虚拟存储的实现主要由集成在一起的RAID控制子系统、主机I/O通道、磁盘I/O通道、磁盘等组成，通过内嵌的虚拟存储管理软件对物理硬盘进行虚拟化，最终提供逻辑存储单元供主机访问，如图2所示。这是一种相对容易实现的虚拟存储形式，因为虚拟存储在设备端实现，虚拟环境和物理设备在同一个控制范围内，便于对物理硬盘的控制，高效地利用磁盘容量，并且可以方便地进行虚拟参数的控制。由于虚拟存储实施的范围被限制在存储设备端，其带宽性能在视频网络环境中表现一般，此外系统的兼容性不好，尤其是当系统存储体异构时表现更为明显。?
　　3?3 在网络设备端实现虚拟存储?
　　在网络设备端实现虚拟存储一般是利用软件和硬件相结合的手段通过网络将逻辑镜像映射到外围存储设备，除了分配数据外，对外围存储设备没有任何控制，从技术上讲，在网络设备端实现虚拟存储的结构形式有如下两种。
?
　　3?3?1 通道内虚拟存储?
　　通道内虚拟存储又称对称式虚拟存储，是一种通过软件和硬件相结合的手段进行虚拟控制的技术方式，如图3所示。虚拟存储的控制交换设备直接存在于服务器和存储设备之间，运行在虚拟控制设备上的软件对存储设备进行统一管理和配置，其中的若干存储设备以一个逻辑分区的形式供服务器访问。因为虚拟控制设备有多个数据通道与存储设备连接，多个存储设备并发工作，可以提供较高的存储访问带宽，存储设备对主机是透明的，此外设备集中便于系统安装和管理。但由于所有服务器对存储设备的访问都要经过控制交换设备的通道，控制交换设备成为整个系统的带宽瓶颈，它的故障将导致整个系统的瘫痪，此外系统扩展性能相对较差。?
　　3?3?2 通道外虚拟存储?
　　通道外虚拟存储又称非对称式虚拟存储，是一种主要通过软件手段进行虚拟控制的技术方式，其结构如图4所示。在服务器与存储设备数据传输通道之外的虚拟控制器不直接参与数据的传输，运行在其上的软件对存储设备进行统一管理和配置并形成逻辑存储单元和存储设备映射表，任何主机在初始化时，均要通过虚拟控制器获得存储设备的映射表，并实现对虚拟存储单元的访问。由于虚拟控制器位于数据通道之外，它不会成为整个系统的性能瓶颈，即使它出现故障，也不会导致系统数据传输通道阻塞，提高了系统安全性；由于主机通过连接设备直接访问存储设备，不会带来延迟；系统配置灵活，开放性好，对操作系统和应用透明，并且管理方便。但是由于虚拟控制器保留有存储设备映射表，如果虚拟控制器发生故障，则新增设备无法获得映射表，无法访问存储系统。此外，要实现数据读写，需要光纤通道接口卡或驱动程序的支持。
?
　　4 虚拟存储技术的应用实例?
　　虚拟存储技术实现形式的多样性为我们构建视频网络时提供了更多的选择，不管采用何种虚拟存储技术，我们的目标都是构建一个高性能、稳定可靠、可扩展的存储网络平台。基于服务器的虚拟存储技术局限性十分明显:效率较低，系统安全性差，其在视频网络中已不再使用。基于存储设备的虚拟存储技术其提供的访问带宽与基于网络设备的虚拟存储技术相比有一定差距，系统开放性较差，对于异构存储系统和操作系统而言，系统的运行效果不是很好。此外，目前这种方式应用实例不多，有待进一步的市场检验。基于网络设备的虚拟存储技术介于两者之间，它的实施既不是在服务器端，也不是在存储设备端，而是介于两个环境之间，是开放的虚拟实施环境，其可能支持任何类型的服务器、操作系统、应用和存储设备，同时可获得很好的可扩充性，这也是它目前在视频网络中获得广泛应用的原因。?
　　在网络设备端实现虚拟存储是当前电视台视频网络应用中的主流形式，下面介绍其两种实现形式的典型应用实例并对它们作一简单比较。?
　　4?1 基于通道内虚拟存储技术的SDD?
    基于通道内虚拟存储技术的应用实例是DataDirect公司的SDD（SAN Data Director）。SDD是一种新型的集中存储技术，它集交换、缓存、RAID、I/O、ASIC及数据与文件的管理于一身，并可完成数据和网络的管理，为数据交换提供高带宽、高容错的集中存储访问。其工作原理如图5所示。SDD内部有两个完全相同的组件，称之为高速流量控制（High Speed Traffic Directors，HSTD）， HSTD同时有多个通道与主机(或连接主机的交换机)和硬盘相连，内嵌于HSTD中的管理软件将一组物理硬盘虚拟为主机可以访问的逻辑存储单元。当主机需写入数据时，它只需将数据写入逻辑存储单元在本机上的映射盘符，如同向本机硬盘写入数据一样。它写入的数据经过HSTD的主机端口，经缓存后由内嵌于HSTD中的管理软件自动完成逻辑存储单元和物理硬盘的转换，从而被写入物理硬盘。由于单个虚拟逻辑存储单元管理的多个物理存储设备并发工作，可以大大提高访问带宽。在整个数据传输过程中，虚拟控制设备HSTD位于主机和存储设备之间，任何数据传输均需通过HSTD来完成。?
　　4?2 基于通道外虚拟存储技术的VSM?
　　基于通道外虚拟存储技术的应用实例是StoreageTek公司的虚拟存储管理系统（Virtual Storage Management，VSM），其工作原理如图6所示。其虚拟存储控制设备像网络中一台普通主机一样接入FC交换机，主机通过FC交换机向存储设备传输数据。内嵌于虚拟存储控制设备中的管理软件对物理硬盘以RAID组为单位进行条带化，即把一组RAID硬盘组虚拟为一个逻辑存储单元，并将虚拟化信息在系统中每台主机开机时传给它们。每台主机根据它从虚拟存储控制设备中得到的虚拟化配置信息直接对虚拟逻辑单元进行访问。各个主机在访问存储系统时，不再经过虚拟存储控制设备，而是直接使所有存储设备并发工作，从而扩大了访问带宽。在整个数据传输过程中，主机无需虚拟存储控制设备的服务，直至下一次启动。
?
　　4?3 两种结构的比较?
　　4?3?1 带宽
?
　　在SDD方式中，由虚拟存储控制设备HSTD对物理存储体进行RAID处理，而VSM方式中，虚拟存储控制器仅对物理存储体进行物理配置，RAID处理由物理存储体自身完成。SDD所能提供的单个虚拟存储单元的最大访问带宽约为350MB/s， VSM所能提供的相应带宽为200MB/s左右。
?
　　4?3?2 扩展性能?
    在网络扩展方面，SDD方式在系统规模较小时比较方便，只需增加主机、硬盘阵列和交换机；当网络规模较大时，除增加主机、硬盘阵列和交换机外，还应增加虚拟控制设备以保证带宽或增加大容量存储阵列以保证存储容量的要求。而VSM方式则表现出线性增长的形式，随着存储容量和主机数量的增加，只需线性地增加主机、硬盘阵列、交换机和虚拟控制设备的数量。
?
　　在系统升级方面，因SDD方式采用软硬结合的方式进行虚拟控制，集成度较高，升级相对困难；VSM方式采用软件方式进行虚拟控制，系统开放性好，升级相对简单。?
　　4?3?3 安全性
?
　　SDD的RAID是在盘塔之间做RAID，这样当一个盘塔发生故障，整个RAID也不会出问题，大大提高了存储系统的容错能力。而VSM只是对物理存储体在RAID组一级进行配置，存储体的安全性能没有提高。
　　参考文献?
［1］王爱英?·计算机组成与结构?·清华大学出版社，北京，1995年?
［2］胡道元?·计算机局域网?· 清华大学出版社，北京，1996年?
［3］张晓辉,李勇?·对数字视频网络的分析与展望?·电视技术，2002?
［4］张琦?·电视中心网络技术探讨（上）（中）（下）?·世界广播电视，1999年?
作者简介：刘玉山（1970-），男，工程师。1993年毕业于成都科技 大学，工学学士，1996年至今一直从事电视技术工作。?


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/72837/showart_1076238.html