论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2005-09-19 11:30 |只看该作者 |倒序浏览

1 摘要 \r\n蓝鲸共享文件系统（Blue Whale File System，简称BWFS）是针对企业应用、面向集群环境的高性能分布式文件系统，是国家高性能计算机工程技术研究中心承担的国家“863”重点支持课题研究成果转化的产物。\r\n超级计算的一个趋势，就是利用集群结构获得高性能的计算能力。并行计算、信息处理等应用通过分布式文件系统共享数据、传递信息。由于传统的分布式文件系统NFS、CIFS等采用集中式存储的特点，使得集群的较低数据I/O能力与高性能的计算能力之间存在巨大的差距。BWFS克服传统分布式文件系统中存在的数据传输瓶颈，利用存储子系统集群化技术和多个网络存储设备、多个系统服务器组成的集群，提供高性能的数据传输和共享服务。BWFS采用虚拟存储、动态负载平衡、LazyBinding、分布式资源管理、“带外”数据传输等技术，利用高速以太网互连应用服务器与存储子系统，能够充分利用企业现有的资源，提供低成本、高性能、易扩展、高可用、跨平台的集群环境存储子系统的解决方案。\r\nBWFS目前可以运行在Red Hat Linux 7.2/8.0/9.0/AS 3、其它厂商的Linux、微软Windows 2000等操作系统中，向上千个客户端提供并发文件访问服务，提供PB级的数据存储容量，GB级的传输带宽。BWFS目前在石油勘探处理、信息检索与处理、数字媒体、遥感、高能物理研究等领域有广泛的应用。\r\n2 需求背景\r\n高性能计算机技术发展迅猛，集群结构的高性能计算机系统的计算能力有了空前提高。由于受到机械部件的限制，虽然外部存储器的存储容量有了大规模的提高，但其传输速度还是没有很大进步，造成计算机系统中外部I/O性能与计算能力之间的鸿沟越来越明显。存储子系统作为目前高性能计算机系统中最重要的部分之一，已经受到了普遍重视。\r\n随着网络技术的发展，千兆以太网、万兆以太网、InfiniBand等网络已经相当普及，它们的数据传输性能得到了空前提高，传输延迟也进一步减小。这些网络的数据传输速度已经超过了单个磁盘和单个磁盘阵列的传输速度。\r\nBWFS融合了NAS和SAN的优点，利用高速以太网进行数据传输，利用存储设备的虚拟存储技术、全动态的元数据映射技术、智能负载平衡技术等实现高性能的数据传输，获得较高的可扩展性。同时，BWFS提供基于Web的一站式管理界面，显著降低系统管理的复杂度，大大提高了生产效率。BWFS提供符合POSIX语义的文件访问接口，兼容NFS的文件共享语义，向应用程序提供二进制兼容性。\r\n3 系统结构\r\n 系统组成\r\n蓝鲸共享文件系统是一个大型分布式文件系统，向集群环境下的应用服务器提供并发访问、共享数据的分布式文件系统服务，BWFS包括应用服务器、系统服务器、网络存储设备和管理控制台。\r\n应用服务器（Application Server，AS）是运行客户应用程序的节点，进行用户特定的计算或者信息处理，是BWFS的使用者。客户的应用程序利用BWFS加载原始数据，进行数据共享与控制协同，最后收集处理结果。\r\n系统服务器（System Server，SS）负责处理文件系统的元数据，组织目录树、维护文件属性、记录文件操作的日志、授权文件访问等。BWFS可以配置一台系统服务器，也可以配置多台系统服务器组成的集群，这些系统服务器并发提供元数据服务，以便应用程序获得更好的性能。\r\n网络存储设备（Storage Node，SN）实际存储用户的数据，是整个分布式文件系统的存储资源提供者。存储设备可以采用工程中心自行设计制造的高性能网络存储设备，也可以采用商用服务器带商用光纤SCSI、SATA、IDE等磁盘阵列。网络存储设备一般利用内置磁盘阵列或者外置磁盘阵列提高系统容量、性能与可靠性。网络存储设备一般都具有较高的数据传输性能和较小的数据传输延迟。\r\n管理控制台（Administration console，AD）负责文件系统的全局管理，同步关键操作，监控系统的运行与负载情况。\r\n整个系统中的节点通过高速交换网络连接，例如千兆以太网、万兆以太网、InfiniBand等，可以充分利用企业现有的计算环境和网络环境，降低存储子系统架设和维护的成本。BWFS的系统结构如图3所示。\r\n \r\n图3 BWFS的系统结构\r\n 技术要点\r\n “带外”数据传输\r\n用户的应用程序运行在应用服务器集群上，它们通过应用程序接口（API）或者文件系统相关的系统调用，访问BWFS提供的文件服务。BWFS利用Linux/Unix的虚拟文件系统（Virtual File System）或者Windows的可安装文件系统（Installable File System）提供基于内核的文件系统访问服务。应用程序无需任何修改就可以像使用其它本地文件系统一样使用BWFS，实现二进制兼容。应用服务器所需要的所有元数据都由系统服务器提供，所有数据都由网络存储设备提供，实现元数据与数据的分离。BWFS的所有数据无需经过系统服务器转发，直接在应用服务器与网络存储设备之间交换，实现“带外”数据传输功能，如图3所示。这种特性使得BWFS可以充分利用网络存储设备提供的数据并发传输能力，有效地在网络存储设备与系统服务器之间进行负载分流，有利于取得更好的数据传输性能和扩展性能。\r\n 全动态元数据映射\r\nBWFS利用多台系统服务器组成的集群提供并发元数据服务。整个分布式文件系统的活跃元数据全动态地分布在各台系统服务器之间，由一台系统服务器负责其它系统服务器之间的操作协调与负载均衡，见图4。根据文件访问的局部性、应用的相关性、访问的频度、系统服务器的负载、用户配置的策略等决定各个活跃元数据的分布情况，在各个系统服务器之间实现互不重叠的全分布，同时利用智能启发式算法平衡各自的负载，获得最佳性能。BWFS还能根据用户的应用需求，动态添加系统服务器，以适应不断增加的应用负载。\r\n\r\n图4 活跃元数据绑定到三个SS\r\n（三种颜色分别对应三台系统服务器）\r\n 虚拟存储和动态扩容\r\nBWFS采用虚拟存储技术将多个网络存储设备的存储资源统一编址，形成巨大的共享存储池，可以充分有效地利用各个网络存储设备的存储空间。BWFS采用64位地址表示存储空间，可以满足目前任何类型的应用需求。系统服务器指导应用服务器将应用程序的数据条带化（striping）存储到各个网络存储设备，充分利用各个网络存储设备的数据传输带宽，提高整个系统的数据吞吐能力。BWFS能够在各个网络存储设备之间平衡数据存储负载，避免系统出现瓶颈。同时，BWFS能够根据用户的需求，在线动态添加网络存储设备，以提升整个系统的数据存储容量和数据传输能力，满足更高的应用需求。\r\n 高效率的空间管理\r\nBWFS采用精心设计的数据结构、高效率的算法提升海量存储空间的管理性能。动态数据块、索引节点分配、多层次带索引的动态位图、批量空间申请、异步存储空间释放等技术，使得BWFS拥有优良的资源管理和调度性能，同时具备管理海量存储空间和提供高性能文件系统服务的基础。\r\n 缓存和预读技术\r\nBWFS在应用服务器、系统服务器、网络存储设备上进行了大量的数据和元数据缓存，并且可以根据系统的设置进行不同程度的预读，使得其性能与传统分布式文件系统相比有显著提高。在各个功能服务器上的不同层次的缓存和预读，有助于加强各个应用服务器之间的缓存协作，对并行计算等应用有明显的性能提升作用。\r\n4 系统功能\r\n 与NFS语义完全兼容，无需对用户应用程序进行移植\r\nBWFS的客户端目前可以运行在Linux以及Windows 2000操作系统中，提供内核级的文件系统，兼容NFS语义，符合POSIX标准，提供应用程序的二进制兼容性。应用程序可以不经过任何修改直接利用BWFS提供的文件共享服务。\r\n 支持大规模的应用服务器\r\nBWFS主要应用在集群环境下大量节点的并行计算、信息处理、数据挖掘等，可以同时向上千个应用服务器提供文件共享服务。这些节点与系统服务器以及网络存储设备之间都通过TCP/IP网络进行通信。\r\n 超高性能、海量存储\r\nBWFS利用多台网络存储设备组成的网络存储设备集群共同提供数据存储服务，取得很高的数据传输性能以及巨大的存储容量。BWFS在配置数百个网络存储设备以及相应的应用服务器的情况下，聚集数据吞吐率峰值可以达到每秒几十GB，管理PB级的存储空间。\r\n 性能、容量动态可扩展\r\nBWFS可以根据用户的需求，随时添加系统服务器或者网络存储设备，以便获得更好的性能和更大的存储容量。所有这些服务的添加都可以在线完成，不影响原有系统的运行。\r\n 高可用\r\nBWFS利用分布式日志技术、事务处理技术、数据冗余检查技术等，实现系统以及数据的高可用性，尽量缩短由于意外导致业务中断的时间，同时保护应用数据的完整性与一致性。BWFS提供多种工具，帮助用户进行系统诊断，保护用户数据。\r\n 易管理\r\nBWFS提供基于Web的管理界面，轻松实现整个系统的管理与维护。基于Web的管理方式，使得管理员可以在集群内或者连接到集群的任何一台计算机节点上对整个系统进行管理，大大降低系统管理的难度，减小系统管理的复杂性，从而降低整个系统的管理成本。\r\n5 未来发展方向\r\n 系统高可扩展\r\n通过使用更多的网络存储设备和更多的系统服务器并发提供服务，并采用更加优化的元数据服务操作，使整个系统能够支持更多节点进行并行计算，获得更好的聚集数据传输能力和单个应用服务器的数据吞吐能力。\r\n 业务连续性\r\n通过磁盘冗余阵列技术、数据存储的条带化技术和多个系统服务器的协同工作等技术，克服单点故障可能带来的影响业务联系性的威胁。通过更好的分布式文件系统日志技术和文件系统恢复等工具，减少由于意外带来的数据损失，提高业务的连续性。\r\n I/O性能优化\r\n利用更好的网络和文件访问协议，进一步优化系统的数据I/O能力，排除系统中存在的处理瓶颈，从而实现更高性能的数据吞吐能力。\r\n 系统高可管理\r\n在完善现有的基于Web管理模式的基础上，提供更加丰富的命令行工具集功能，简化用户管理操作，降低系统管理成本，提高工作效率。\r\n 多平台支持\r\nBWFS的客户端软件目前可以运行在Red Hat Linux 7.2/8.0/9.0以及Advanced Server 3.0上，也可以运行在Windows 2000/XP系列操作系统中。BWFS将开发更多的客户端版本，使之能够运行在更多的操作系统中。\r\n6 总结\r\nBWFS采用先进的体系结构，拥有多项专利技术，提供跨平台的集群共享文件服务。系统利用TCP/IP网络进行数据交换，可以有效降低系统搭建和运行的成本，同时取得很好的性能和可扩展性。\r\nBWFS兼有NAS和SAN的优点，适合企业级的集群环境，提供上千节点同时并发访问海量存储空间的能力。系统可以充分利用多个网络存储设备的并发数据传输能力和多个系统服务器的并发元数据处理能力，提供超高的性能。分布式日志技术、失效接替技术使得BWFS具有较高的可用性。\r\n利用SNMP、XML、SOAP、CIM、BS等先进开放的技术，蓝鲸共享文件系统可以提供简单有效的管理功能，降低企业的管理成本，提高生产效率。\r\nBWFS适合企业级的应用，在大规模并行计算、海量信息处理、数字媒体等方面有成功应用，提升了企业的竞争力，极大促进了生产力的发展。