免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2236 | 回复: 0

[RAID与磁盘阵列] DDN和HDS [复制链接]

论坛徽章:
0
发表于 2010-01-21 16:58 |显示全部楼层
DDN和HDS
    NAS有很多特点限制了它在视音频和多媒体应用领域的应用。一个独立的数据流只能使用一个TCP/IP传输流,不能使用两个或两个以上的TCP/IP流来将一个媒体流分成几部分同时传输。这样一来,由于单个TCP/IP流由其协议的限制最多可以到6M字节/秒左右,造成对媒体流大小的限制。同时大多数媒体流具有实时性,而TCP/IP的打包传输特点不能提供一个持续稳定的传输,会导致媒体流的掉帧的或质量的下降。NAS 的共享能力只有60M字节/秒,而对于实时性很强的媒体流类型应用来说,有效的共享能力可能只有30至40M字节/秒,这种有限的共享能力对存储工程师目前的需求来说是远远不够的。在媒体流应用中,如果用户的需求超过NAS存储所能提供的共享能力时,将导致对每一个用户的服务质量下降。在使用多个NAS系统时,由于视音频数据流的应用的特点,用户数据访问的数据流一般都很大,但访问次数相对较小,即使有一定的规律性也有可能发生对不同NAS 系统的需求不均衡的现象,这样极易造成某个NAS系统阻塞。所以NAS 存储系统也同样不适合使用于视音频和多媒体的共享应用领域。以下举例分析。
产品1:DataDirect Networks(DDN)公司的SAN DataDirector  
    DataDirect Networks公司的SAN DataDirector存储区域网络设备是一个全新的存储系统概念。它无论对单台主机有序的数据访问还是来自多台主机的不确定的数据访问,它都拥有同样的高性能:单台SDD实际的写性能可以到760M字节/秒,实际的读性能可以到800M字节/秒,单个逻辑单元的性能可以到650至700M字节/秒。这样高的性能来自于它的独特的对存储区域网络的多主机环境进行专门设计的并行体系结构,它不只是一个高性能的存储系统,它还是一个存储区域网络的基础结构设备。
    多CPU的并行处理技术,尤其是其中的软件技术一直当今世界计算机应用领域的一大难题。不同种类的CPU 对于不同种类用途的并行处理能力是不同的,DataDirect Networks 公司采用独特的软硬件技术率先将适用于IO处理的RISC CPU的并行处理技术应用于存储和存储区域网络管理系统当中,彻底改变了总线结构和交叉点交换结构在这一领域的跟不上发展需求的现状。
    DataDirect Networks公司的SAN DataDirector存储区域网络设备拥有八个用于连接主机或连接存储区域网络连接设备的主机接口和二十个用于可以连接高达1250块磁盘驱动器的磁盘接口。在每一个端口上都有一个用于与其它端口进行并行处理的GALEFORCe特定用途集成电路。在这二十八个GALEFORCe特定用途集成电路中,每个包含一个RISC处理器,用于控制和区分命令路径和数据路径,向主机以及存储器提供高速的数据传输路径。巨大的并行处理缓存池与DMA 之间的高速数据信息包传送机制和这些特定用途集成电路的结合,为所有的主机提供了通过缓存池对所有的存储进行直接的和并行的访问能力。
    由于所有的数据访问都要经过缓存,SDD的并行处理机制将无论是来自单台主机的有序数据访问请求还是来自多台主机的不确定的数据访问请求都进行重新排队和有序化,SDD的并行处理机制为来自所有端口的数据进行统一排序提供了基础。同时SDD的GALEFORCe特定用途集成电路不只在互相之间做功能强大的并行处理,而且还利用磁盘驱动器提供的软件接口,跟所有的与SDD磁盘端口相连接的磁盘驱动器的内置处理器进行并行处理,通过磁盘驱动器内置处理器对数据请求命令再次排序并且充分有效地利用磁盘的自带缓存。这种独特的SDD 与所有磁盘驱动器的一体化并行处理,最大限度地、充分地最小化了驱动器的寻道次数,将磁盘驱动器的机械反应时间降到最低。SDD不但没有在多主机访问时产生性能衰减,而且还利用多台主机的并发数据访问发挥出它的单台主机无法用到的极高的性能。
    SDD独有的另外一个突破性的技术是directRAID技术,它对系统性能的贡献与SDD的并行处理技术同样重要。directRAID技术结合并行处理技术征服了传统RAID技术的单数据流限制,使多个校验组数据流可以在一个directRAID中并行存在,多个校验磁盘同时运行,在提供无缝的数据保护的同时不引起丝毫的性能衰减。它的重建操作只需要传统RAID技术的三分之一的时间,消除了传统RAID技术在重建时停止工作或性能明显下降的现象。
    这种将冗余组和逻辑单元之间关系虚拟化的directRAID技术在首先提供了比传统RAID 技术的更高的数据保护功能以外,它为存储工程师带来了比传统的RAID 系统高数十倍的单逻辑单元并发数据访问性能,使单逻辑单元的数据访问能力可以达到650 至700M 字节/秒,并且这个性能在多主机的情况下没有衰减。这种非常高的单逻辑单元性能解决了在视音频和多媒体的共享应用环境中的对某一个逻辑单元数据的需求不均衡的现象造成的阻塞问题,消除了人工负载均衡的难题。
    DataDirect Networks公司的SAN DataDirector存储区域网络设备是目前世界上拥有最高性能价格比的存储系统,是适用于大规模视音频媒体流共享应用领域的存储系统中的最佳选择。
举例2:HDS公司的Lightning9960存储系统分析:
    Lightning9960 的体系结构如图一所示,主机接口最大可以使用四个CHIP 对,每个CHIP 对由两个可以互相备份(每个主机必须通过两个光纤通道适配器同时与两个CHIP 的一个口连接)的CHIP 组成,每个CHIP 拥有四个光纤通道(ESCON 接口在本文中将不涉及,但并不影响存储工程师对性能的讨论)主机接口和两个用于与内部两个交换机连接的光纤通道接口,四个CHIP 对共有32 个光纤通道主机接口和16 个光纤通道的与内部交换机相连接的接口。在Lightning9960 的中间采用两个Crossbar 交换机,每个交换机都与每个CHIP、每个缓存块和每个磁盘阵列控制器的光纤通道相连接。Lightning9960 最多有四块8GB 的缓存,缓存是CHIP 与控制器之间数据的必经缓冲区,它与交换机之间共有16 个光纤通道连接(图中只画出了8 个)。在体系结构的最下面是四对磁盘阵列控制器,每对控制器有四个连接交换机的通道和8 个用于连接磁盘驱动器的磁盘通道。控制器对中的不同控制器的两个磁盘通道同时连接到双端口磁盘的两个端口上提供备份连接,所以每对控制器实际有4 个独立的磁盘通道。
z Lightning9960 的数据通道带宽:
    从Lightning9960 的结构图中可以计算出每部分的带宽是:32 个光纤通道主机端口总带宽为3200MB/ 秒;CHIP 与交换机之间的总带宽为1600MB/ 秒;在交换机到缓存之间的总带宽为1600MB/ 秒;在缓存到交换机之间的总带宽为1600MB/ 秒(缓存和交换机之间是双向传输所以此项带宽与上一项带宽互相不影响);交换机到磁盘阵列控制器的总带宽为1600MB/ 秒;内部磁盘通道的总带宽为1200MB/ 秒(因为每对磁盘阵列控制器的四个磁盘通道中在做RAID5 时有一个通道的带宽被用来做校验)。由于所有以上的带宽都是串行结构,所以Lightning9960 的数据通道实际总带宽受到链路中最小值1200MB/ 秒的限制。但数据通道带宽并不等于整个系统的实际性能,实际的性能将受到每个磁盘阵列控制器(ACP)的RAID 引擎、系统整个体系结构和应用环境的影响,下面将讨论在应用中的实际性能。
z Lightning9960 的体系结构:

图2-2  Lightning9960 磁盘阵列系统的体系结构(图中只给出数据通路的结构图)
z Lightning9960 的实际性能:
    Lightning9960 存储系统中每个磁盘阵列的性能由于受到每个磁盘阵列控制器(ACP )的RAID 引擎的限制,单个控制器的性能只有60MB/ 秒左右,而且无论使用控制器的一个通道还是两个通道结果都是同样的,这个结果是在单主机有序的数据请求下的实际结果。所有的Lightning9960 中的8 个控制器,在每个控制器都在单主机访问的情况下,总的最大的实际性能为480MB/ 秒左右。而在存储区域网络的实际应用环境中,数据访问来自多个主机,在这种情况下,Lightning9960 的实际性能将迅速衰减,如果不确定的数据请求来自8 台主机以上,总性能将衰减到100 到200MB/ 秒左右。但在Lightning9960 存储系统中,有8 个用于主机连接的CHIP, 它为系统在多主机连接情况下的实际性能的提高做了巨大的贡献。由于每个CHIP 可以将与它连接的所有的不同主机来的I/O 请求重新排队,这样一来,从每个CHIP 进入系统中的数据请求变成有序的I/O 请求,使整个系统的在无论连接多少个主机时,不确定的数据流只有8 个来自不同CHIP 的数据流,优化了系统的性能。
    在只有8 个不确定的数据流的情况下,存储工程师来讨论一下Lightning9960 存储系统的实际性能。对单一控制器的逻辑单元来说,对它的数据访问有可能只来自一个CHIP 也有可能来自多个CHIP(最多8 个),外部连接的主机越多来自多个CHIP 的可能性越大。而对于存储工程师目前视音频媒体流应用中,共享的主机数量一般在几十个到几百个左右,在这种情况下,对单一控制器的逻辑单元的数据访问来自多个CHIP 的可能性较大,假如对某一控制器的逻辑单元的数据访问来自6 个左右的CHIP,那么总的实际系统性能将在200MB/ 秒左右。
    在Lightning9960 存储系统中单个CHIP 对数据请求的排序,在一定程度上优化了系统的实际性能,但多个CHIP 之间没有进行统一排序使本系统的实际性能并没有得到很大提高。
在多媒体共享应用中,Lightning9960 存储系统中的单个逻辑单元的性能限制是一个非常严重的缺陷,单个逻辑单元的最大性能只有60MB/ 秒,而在处理同时来自不同CHIP 的数据请求时,性能将急剧下降,有可能只有20MB/ 秒左右。
    综上所述,从实际性能和单逻辑单元两方面来看,Lightning9960存储系统适合用于对并发流实际带宽要求不是很高的视音频流共享应用领域。但在事务处理类应用领域,因为大容量的缓存可以存储数小时的数据,以及在这里没有讨论的比其他系统更强大的用于传输配置信息和控制信息的具有64 个入口的共享存储器(shared memory ),使Lightning9960 存储系统在该领域有非常好的I/O 处理性能表现,实际的I/O 处理能力可以到60000 个I/Os 左右。


本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u3/108286/showart_2156378.html
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。




----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP