奥运卫星遥感数据处理文件集群系统

san5753

中科院计算所国家高性能计算机工程技术研究中心（以下简称“工程中心”）为北京宇视蓝图信息技术有限公司（以下简称“北京宇视蓝图”）提供了具有自主知识产权的卫星数据集中存储系统――蓝鲸集群文件系统。本系统应用于北京宇视蓝图卫星地面接收站的遥感数据处理中，它属于“北京一号”卫星信息数据处理系统的关键应用。蓝鲸集群文件系统为这颗“奥运卫星”的遥感数据处理，提供了先进、可靠、安全的保证。
“北京一号”卫星定期提供覆盖全北京市的遥感影像，为2008年奥运会前后的城市规划、生态环境监测、重大工程监测、土地利用监测等，提供及时、可靠的服务。
北京宇视蓝图作为“北京一号”卫星的日常管理及运营单位，是由国土资源部、国家测绘局、北京市作为业主单位，分别委派业主代表北京二十一世纪空间技术应用股份有限公司、中国国土资源航空物探遥感中心、国家基础地理信息中心三家单位共同按现代企业制度组建而成的。它依靠建成的遥感卫星地面跟踪及接受系统、遥感卫星数据处理及产品分发系统，对卫星进行运、管、控一体化操作及管理，同时，对外提供遥感数据产品和服务。“北京一号”卫星项目是“北京数字工程”的重大项目、奥运科技（2008）行动计划的重大专项目之一，由国家“十五”科技攻关计划和863计划联合支持。
本次“奥运卫星”所采用的蓝鲸集群文件系统，是为大型数据处理系统在集群环境下的数据传输和数据共享而设计的高性能存储集群系统。通过使用该系统，可以充分发挥集群系统的处理能力，有效管理海量存储空间，大幅度提高集群资源的使用效率，提高生产能力和生产效率。它可以轻松管理存储集群中多个存储节点上的海量存储空间，为计算和处理集群中的众多计算节点提供高带宽、低延迟、可扩展的数据共享服务，从而克服传统存储模式下存在的数据传输瓶颈、简化数据管理、降低整个集群以及存储系统的总体拥有成本。蓝鲸集群文件系统在“奥运卫星”数据处理环境中的应用效果充分地证明了这一点。
随着计算技术的发展，越来越多的大型数据处理系统对存储提出了更高的要求，需要网络存储系统具有数据集中存储、异构平台文件级共享、高带宽、高可靠性等特点。然而由工程中心自主研发的蓝鲸集群文件系统，即可满足上述需求。它具有良好的兼容性和对异构平台的支持能力，运行在计算节点、工作站和备份服务器等不同操作系统平台中的应用程序，不需要进行任何修改就可以直接利用该系统实现文件共享。此外，蓝鲸集群文件系统采用具有动态扩展存储容量和存储带宽的SAN基础架构的带外虚拟化存储技术，有效地支持处理系统的高扩展能力，其性能随着客户端增加呈线性增长，并支持客户端容量在线扩展。此外，本系统以SAN架构特点，提供NAS架构无法提供的文件级的高聚合带宽。
工程中心是依托于中科院计算技术研究所，由国家科委于1997年联合组建成立的，其目的是走产业化道路，促进863计划高性能计算研究成果的产品化，促进高性能计算机产业的发展。目前，工程中心在国家863、科学院百人计划等项目的科研成果基础上，经过多年的研发和产品化工作，已成为国内网络存储研究领域的权威机构之一。为了实现上述目标，工程中心创办了北京中科储天信息技术有限公司，促进工程中心的技术产业化，实现技术→产品→市场的整个产业化过程。在工程中心已有的工作基础上，北京中科储天信息技术有限公司对其进行产品化工作，丰富产品线，完善产品功能，优化产品性能，并将这些产品更广泛地向市场推广。
蓝鲸集群文件系统有效地解决了大型数据处理系统中存储子系统的I/O瓶颈问题，提高了大型数据处理系统的工作效率。
北京宇视蓝图公司的卫星地面接收站使用了蓝鲸集群文件系统后，其系统性能得到了明显提高，实现了：
高IO吞吐率和强大的并发处理能力，有效支持卫星影像处理领域的应用。
支持多种异构平台文件级共享后端存储系统，能够支持Windows和Linux用户并发访问文件存储系统。
良好的扩展能力，性能随着客户端增加基本呈线性增长，透明的支持客户端容量在线扩展。当有并发用户增加时，几乎不影响其它客户端的访问性能。
随着计算节点的增加，数据带宽的可扩展性非常明显，性能比原有系统提高3倍以上，极大地提高了系统的处理能力，缩短了整个处理周期。
此外，在遥感信息处理软件设计中不必再考虑存储带宽对计算性能的影响，因此减化了算法的设计和程序编写工作，降低了编程的复杂度。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/68913/showart_686485.html