存储网络时代—网络存储现状及发展趋势

瓶客

　　传统的存储模式称为总线连接存储(Bus Access Storage，简称BAS)，也叫直接连接存储(Direct Access Storage，简称DAS)，是以服务器为中心的存储结构。各种存储设备通过IDE、SCSI等I/O总线，经过一个通用的服务器连接在网络上，存储器与服务器之间通过传统的I/O总线通信。客户端如果需要访问存储器上的数据，必须先给文件服务器发送请求信息;文件服务器解析这个请求并给存储器发送访问信息;存储器访问数据并发送至文件服务器内存，最终由服务器把文件传送给客户机。

　　在这种结构中(上图)，服务器实际上起到存储转发数据的作用。这一存储体系结构存在以下一些不可克服的缺点，已经不能够满足网络时代的应用需求。

　　容量限制: 存储容量的扩展依赖于所连接的服务器，如果服务器的接口或可供挂接的驱动器已满(并行SCSI总线最多可连接15台设备)，就只有另购服务器来扩容了。

　　连接距离有限: 并行SCSI总线的最长距离只有25米。

　　不易于共享和管理: 数据依附于服务器分散存储，且数据访问依赖于特定的平台和文件系统，数据不易共享和管理。

　　网络时代的存储——NAS和SAN

　　网络时代的到来使存储技术发生了巨大变化，从而进入了网络存储的时代。NAS(Network Attatched Storage ，网络附加存储)、SAN(Storage Area Network，存储区域网络)是存储领域近来十分引人注目的技术。它一方面能为网络上的应用系统提供丰富、快速、简便的存储资源;另一方面又能共享存储资源并对其实施集中管理，成为当今理想的存储管理和应用模式。

　　NAS: “想说爱你不容易”

　　NAS系统拥有一个专用的服务器，服务器上安装着一个优化的文件系统和“瘦”操作系统，其作用类似于一个专用的文件服务器。这种专用文件服务器去掉了通用服务器原有的大多数计算功能，仅仅提供文件系统功能，用于存储服务。而且，NAS系统中的核心操作系统是经过特殊定制的，专门服务于文件请求且与主要的网络环境兼容。

　　NAS存储系统的特点是通过基于IP网络的网络文件协议向多种客户端提供文件级I/O服务，客户端可以在NAS存储设备提供的目录或设备中进行文件级操作。当一个用户或应用程序试图访问文件时，经过解释的I/O请求被重定向到网络传输路径。这些I/O请求经过IP网络传输到NAS服务器端，由那里的网络文件协议接收，随后解包并处理客户端和块设备的映射关系，最后将正常的I/O操作请求交给服务器上的文件系统处理。

　　虽然与直连存储相比，NAS结构已经在速度、可靠性等方面有很大的改善，但仍然存在一些难以解决的问题。

　　其一是传输能力有限。在NAS中，数据的传输通过现有的局域网实现，但局域网原本是用来实现消息传递的，只适合短暂的突发数据传输，不能满足大容量连续数据传输的要求;同时，网络上大量计算机之间的通信也会占用有限的网络带宽，所以当网络规模较大时，必然会导致数据传输速率减慢。

　　其二是可扩展性有限。虽然当存储空间不足时，在网络中增加一台NAS设备非常容易，但新的NAS设备要求有新的IP地址，无法与原有的NAS设备集成为一体，不能形成一个连续的文件系统，从而增加了存取和管理的复杂度。

　　其三是数据备份能力有限并且不能对数据库服务提供有效的支持。通常，NAS设备不能支持存储设备之间的直接备份，只能采用基于网络的备份，这样会在数据备份时占用大量的网络带宽，严重影响网络上其他应用的运行，而且数据备份的速度也相对较慢。另一方面，由于NAS系统是面向文件的，采用的是NFS和CIFS这类网络文件访问协议，而不是块协议或数据库协议，因而使得NAS不能支持数据库服务。这一缺陷致使NAS的应用范围缩小了许多。

　　不难看出，NAS技术的引入并没有解决根本问题，仅仅是一种过渡性的解决方案，真正解决问题还需要新型的网络存储技术。

　　SAN: 网络存储的主角

　　SAN是一种面向网络的存储结构，是以数据存储为中心的。SAN采用可扩展的网络拓扑结构连接服务器和存储设备，并将数据的存储和管理集中在相对独立的专用网络中，面向服务器提供数据存储服务。服务器和存储设备之间的多路、可选择的数据交换消除了以往存储结构在可扩展性和数据共享方面的局限性

　　通过协议映射，SAN中存储设备的磁盘或磁带表现为服务器节点上的“网络磁盘”。在服务器操作系统看来，这些网络盘与本地盘一样，服务器节点就像操作本地SCSI硬盘一样对其发送SCSI命令。SCSI命令通过FCP、iSCSI、SEP等协议的封装后，由服务器发送到SAN网络，然后由存储设备接收并执行。服务器节点可以对“网络磁盘”进行各种块操作，包括FDISK、FORMAT等，也可以进行文件操作，如拷贝文件、创建目录等。

　　与DAS、NAS相比，SAN技术的主要优点包括以下一些：

　　其一是为每台主机提供了更多的可控存储容量。SAN并没有提高单个磁盘驱动器的容量，也没有增加主机系统中支持的主机 I/O控制器的数量，但它能显著提高连接到每台主机I/O控制器的设备数。它还提供了通过级联网络交换机和集线器来扩展容量的方法，例如，光纤仲裁环网能支持多达126台设备，而对于交换结构的光纤网络和IP网络来说，SAN具有无限寻址的能力。

　　其二是可提供更高的传输带宽。目前光纤网络可提供2Gb/s的带宽，而千兆以太网可提供1Gb/s的带宽。此外，与共享带宽的总线和网络相比，使用交换网络的SAN为数据存取提供了更好的可扩展性，网络的传输带宽可以成倍地增长。

　　其三是可提供更长的连接距离。SAN能以高速在很长的距离上运作，在采用光纤通道协议(Fibrc Channel Protocol，FCP)的FC-SAN中，使用单模光纤且不使用重发器，就可支持长达10公里的数据传输;而使用IP网络进行数据传输的IP-SAN则可以在广域网上传输数据，从而使数据的存取不再受区域的限制。

　　其四是在数据可用和共享方面的优势。服务器和数据的分离以及面向网络的集中存储使数据的安全性和可用性大大提高。而且，利用SAN的远距离连接能力，通过数据镜像等操作，即使系统遭受区域灾害(如洪水、火灾、大规模电力故障等)，也能很快完成数据的灾难恢复。同时，面向网络的集中存储和多路径的数据交换使数据共享变得非常容易。

　　调查显示，2000年SAN在整个全球存储市场中占16%的份额，2005年将达到52%。从中国市场看，2000年SAN占8%的市场，2005年将超过42%。目前，业界几乎所有的主流存储厂商都打出了SAN的大旗，与此同时，业界也出现了SSP(存储服务供应商)的概念，它们为客户提供存储服务、托管中小企业的存储业务。数据中心服务供应商也开始提供更多存储服务。很显然，SAN将成为网络化计算与应用时代的主流存储技术。

　　清华大学高性能计算技术研究所在承担国家“863”高科技项目中，研制开发出SAN结构的 MStor系列存储网络系统。该系统性能优越且成本低廉，可分别支持FCP、iSCSI协议，具有存储管理、存储虚拟化、数据容灾等完整的系统组件，是国内首家拥有完全自主知识产权的SAN产品，已应用于油田、教育等行业。

　　未来趋势

　　在未来，网络存储将在以下几个方面得到发展。

　　1.基于InfiniBand的存储系统

　　InfiniBand 是被用来取代PCI总线的新I/O体系结构。InfiniBand 把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通道适配器(HCA)连接到I/O交换网上，存储器、网络通信设备通过目标通道适配器(TCA)连接到该I/O交换网上。

　　InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。服务器端通过主机通道适配器(HCA)连接到主机内存总线上，突破了PCI的带宽限制，存储设备端通过终端通道适配器(TCA)连接到物理设备上，突破了SCSI和FC-AL的带宽限制。

　　在InfiniBand体系结构下，可以实现不同形式的存储系统，包括SAN和NAS。基于InfiniBand I/O路径的SAN存储系统有两种实现途径：其一是SAN存储设备内部通过InfiniBand I/O路径进行数据通信，InfiniBand I/O路径取代PCI或高速串性总线，但与服务器/主机系统的连接还是通过FC I/O路径;其二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径，实现彻底地基于InfiniBand I/O路径的存储体系结构。

　　2.采用DAFS技术

　　作为一种文件系统协议，直接存取文件系统DAFS可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把RDMA的优点和NAS的存储能力集成在一起，全部读写操作都直接通过DAFS的用户层——RDMA驱动器执行，从而降低了网络文件协议所带来的系统负载。

　　DAFS的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，而是在这两个物理设备预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填充各种各样的系统缓冲区和网络接收器。DAFS可以直接集成到NAS存储服务器中，一方面实现高性能的数据传输，另一方面也可以更好地支持数据库管理系统，如Oracle数据库等。

　　今后的NAS存储系统将采用DAFS技术提高系统性能，并且在性能和价格上与SAN存储系统进行有力的竞争。

　　3. NASD技术

　　NASD(Network-Attached Secure Disk)是CMU大学目前正在研究的网络存储项目，它是一个类似NAS存储设备的智能磁盘驱动器，但将管理、文件系统语义和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管理部分。它对外提供以太网、ATM等数据通信接口与IP网络相连，或者通过FC接口连接到SAN上。

　　NASD设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口。客户端可以直接存取NASD设备中的存储资源。文件管理器负责每个客户对NASD设备存储资源的存取控制和检查工作。存储管理器则负责NASD存储资源的映射管理和RAID管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议完成，因而NASD需要提供安全机制，目前采用的是基于私钥/公钥验证技术的安全机制。

　　4.统一虚拟存储

　　统一的虚拟存储将不同厂商的FC-SAN、NAS、IP-SAN、DAS等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储池。虚拟存储的实质是资源共享，因此，统一虚拟存储的任务有两点：其一是如何进一步增加可共享的存储资源的数量;其二是如何通过有效的机制在现有存储资源基础上提供更好的服务。

　　从系统的观点看，存储虚拟化有三种途径:基于主机的虚拟化存储、基于存储设备的虚拟化存储以及基于网络的虚拟化存储。统一虚拟存储的实现只能从虚拟存储的实质出发，因此，单一存储映象的方法可能是虚拟存储的发展方向。

　　NAS和SAN是目前网络存储的主流技术，二者在不同的应用领域各有所长，还出现了二者相互融合的趋势。随着SAN在IP网络中的成功应用，其低廉的成本，加上虚拟存储技术的广泛应用，SAN极有可能成为网络存储的主导方向，而存储虚拟化、数据高可用和容灾支持将会是SAN的关键技术。

　　相关链接：SAN的两种实现方式

　　根据存储网络所采用的传输协议以及传输介质的不同，SAN有很多种实现方式，目前比较流行的是FC-SAN和IP-SAN。

　　FC-SAN是当前最主流的SAN结构，它采用高速的光纤通道构架存储网络，并用FCP(Fibre Channel Protocol)协议传输SCSI命令和数据。由于光纤通道的远距连接能力以及高速的传输能力，使得FC-SAN的性能非凡，被业界普遍采用。但另一方面，光纤网络的采用使得FC-SAN的实现成本极其昂贵。

　　IP-SAN是采用iSCSI(Internet SCSI)协议构架在IP网络上的SAN。iSCSI协议通过IP协议来封装SCSI命令，并在IP网络上传输SCSI命令和数据。在FC-SAN结构中，服务器间的消息传递使用的是前端局域网，而数据传输则被限制在后端的存储网络中。但是，IP-SAN的倡导者认为存储网络应该与应用网络使用相同的体系架构和技术标准，也就是说，IP-SAN存储系统既使用IP网络进行消息传递，也使用IP网络进行数据传输。这样一来，无论从技术构造上，还是从经济成本上看，无疑都是最理想的。这是因为，基于IP网络的SAN系统可充分利用目前普遍使用的IP网络基础设施，因而建设费用便宜，而且也解决了应用网络和存储网络异构的问题。另一方面，IP-SAN的数据传输路径和FC-SAN存储系统的I/O路径相比，只是光纤通道卡和FCP协议变为iSCSI卡和iSCSI协议，其他方面完全一样。