免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
1234下一页
最近访问板块 发新帖
查看: 14330 | 回复: 30
打印 上一主题 下一主题

[集群与高可用] Isilon集群存储 有问必答 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-04-22 20:14 |只看该作者 |倒序浏览
希望通过这个帖子和所有关注集群存储的朋友一起探讨Isilon集群存储的技术问题。
下面这个帖子是引用《中国计算机报》的一篇文章。


Isilon相关资料: ftp://222.128.91.6/pub/outcoming




跨过性能这道槛

如果您的存储数据量不大,或者对存储性能要求不太高,而现有的NAS或SAN又恰好可以满足应用需求,您可能不会注意到集群存储正在中国市场上悄然兴起。

对于互联网、流媒体、高性能计算、能源等数据密集型、高并发访问的行业用户来说,容量与性能的线性扩展是必须的,而对于传统的存储方式来说,这却是不可逾越的鸿沟。

由若干个存储系统组成的集群,其性能和容量等属性可通过集群的方式得以叠加和扩展,不但有效解决了高性能的文件共享问题,同时兼顾了数据的高可用性及文件系统的高扩展性。

用户的迫切需求直接导致了集群存储市场的兴起。在集群存储领域,有中国用户十分熟悉的IBM、SGI、NetApp、Panasas、蓝鲸,还有中国用户不太熟悉的DataDirect、Omneon、Isilon、Verari、龙存科技等已经摩拳擦掌,而集群存储也将成为存储市场下一个时髦字眼。

从我们接触到的中国用户来看,能源行业、广电行业和科学计算等领域的用户成了集群存储市场上首批吃螃蟹的人。因为这些行业的用户越来越依赖大型的和日益增长的数据集,对于存储的性能和可靠性要求也非常高,而且在服务器集群方面也积累了很多经验,这些因素都有助于上述行业的用户了解和实施集群存储。

其实,集群存储的应用并不局限于某个行业或某个应用,只要存储的经济性与技术性能达到一定的要求,集群存储就是一种不错的选择。

为了让中国用户能够进一步了解集群存储的相关知识,我们邀请了多名业内专家,就集群存储的概念、采购和部署等方面的几个问题进行了解答,相信集群存储在性能和扩展性方面的特色会给您耳目一新的感觉。

什么是集群存储

所谓集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。北京龙存科技有限责任公司CEO唐荣锋表示:“集群存储能够解决存储应用中的高带宽、并发访问、高可扩展性、易管理等各项需求。”

与传统NAS和SAN相比集群存储的优势何在

传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储服务,集群存储也分为提供数据块与文件两个不同级别存储服务的集群存储系统。

集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。

SAN系统具有很高的性能,但是构建和维护起来很复杂。由于数据块和网络需求的原因,SAN系统也很难扩容。NAS系统的构建和维护虽然比较简单,但是由于其聚合设备(又叫做NAS头)是其架构上的瓶颈,造成其性能很有限。集群存储提供了SAN和NAS结构的优点。在大多数使用集群存储的案例中,随着存储系统的扩容,性能也随之提升。一个大的集群存储的性能往往胜过一个SAN系统,但是价格也会更高。集群存储系统像NAS系统一样易于构建、操作和扩容。大多数集群存储系统没有传统NAS系统的固有瓶颈。

集群存储有两种实现方式:一种是硬件基础架构加上软件,典型代表是SAN架构+IBM GPFS;另一种是专用集群存储,典型代表是Isilon、NetApp GX以及Panasas,其中NetApp GX是构建在NAS基础架构之上的,但是通过操作系统实现集群存储。从这个角度讲,集群存储与SAN或NAS不存在竞争关系,是实现不同存储需求的解决方案。”

集群存储和NAS的概念是在文件系统层面上的,而SAN是在LUN层面上的,集群存储可以利用SAN环境实现。因此,集群存储与SAN解决的问题不同。如果一定要比较这两者的优缺点的话,可以说SAN做到的是多个服务器节点可以同时看到SAN环境中的同一个LUN,还不能做到多服务器节点间的文件级共享。
集群存储在性能、可靠性及扩展性等多个方面都远远优于 NAS。

集群存储在部署时有没有特别要求

总体来说,部署集群存储并无特别之处。集群存储中的所有节点都必须安装好操作系统,并保障网络畅通。整套系统的配置管理一般都可以通过单一节点进行,不会像SAN那样复杂。

采用集群存储的客户一定要懂得应用,对现有的基础架构非常熟悉,因为集群存储在实施时可能要用到网络、服务器、操作系统等多种知识。在采用集群存储架构时,必须考虑以下三方面问题:存储成本对整个业务模型的影响;应用系统架构和输入/输出负载的特点;在评估集群方案时,原有系统本身的性能、成本、可用性如何。

为了尽可能减少风险,用户在部署集群存储系统时,最好与厂商的专业技术人员进行充分沟通,根据具体应用需求进行有针对性的设计和部署,这样才能达到预期效果。

集群存储是否仅限于Linux平台

由于Linux具有价格低廉以及性能优良、稳定性好等优势,因此很快融入了集群领域,并且占据了较大的市场份额。Omneon公司认为,由于价格的因素,多数集群存储基于Linux操作系统。其实,存储集群与操作系统没有什么关系,只要能被各种类型的客户端访问到就可以。在许多案例中,用户会提供客户端代理,允许从客户端到存储集群的直接访问。

可以这样说,是需求拉动了Linux平台上集群存储的发展,但是集群存储并不仅局限于Linux平台,但Linux服务器集群确实是主流发展方向。在 Unix领域,提供集群解决方案的包括IBM、SGI,微软也推出了自己的服务器集群系统。Unix领域集群市场日渐萎缩主要是因为Linux集群的性价比适合目前所有的集群应用。Windows集群系统主要应用于小型系统。

Isilon采用Linux作为核心操作系统,主要是因为Linux开放的资源、灵活性以及市场的适用性,非常适合集群存储系统的应用。但是用户必须明确,操作系统级和应用软件层是截然不同。存储集群的应用性与应用系统之间的架构存在更为密切的联系,而不是操作系统。Unix、Windows、Linux甚至Macintosh的环境与Isilon集群存储系统之间没有任何必然关系。 Isilon的集群存储解决方案是基于业内标准协议进行连接的,能够支持任何软件。

选择集群存储时应注意哪些问题

用户应该从自己的实际应用需求(如性能需求及可靠性需求等)出发来判断是否需要构建集群存储。在选择集群存储解决方案时,应该着重考虑避免性能瓶颈。集群存储解决方案中最容易产生性能瓶颈的地方是元数据管理服务器(Metadata Server),因为元数据服务器的数量通常都有限制,而且其工作负载又很大。另外,在方案设计和项目实施的过程中,一定要注意避免单一故障点。好的方案可以从服务器、网络及存储系统的各个方面消除单一故障点。

中国用户对集群存储的接受程度如何

用户对SAN和NAS比较熟悉,但是对集群存储解决方案比较陌生,特别是对集群存储的可靠性存在疑问。从目前情况看,集群存储还处于导入期,用户接受需要一定的时间。

一些比较成熟的行业,如石油勘探行业的用户对硬件架构+并行文件系统的模式就非常认可。Isilon公司也认为,集群存储已经在国内的某些特定商业领域得到了成功应用,如能源、科学、广电、娱乐等。在这些行业中,客户需要存储系统的功能、特点能够适应其业务应用环境,并且不能影响过去的投资,更重要的是不能影响整个业务的运作。

因为集群存储可以在底层为用户应用提供强大的支持,所以当用户真正理解了其概念和优势后,是非常容易接受的。

与欧美市场相比,中国市场受到传统或比较陈旧的系统架构的阻碍相对较少。因此中国市场能够比西欧或美国市场更易接受集群存储。

能源、广电等领域的用户是中国集群存储市场上首批吃螃蟹的人

[ 本帖最后由 hoking 于 2008-12-2 13:49 编辑 ]

论坛徽章:
0
2 [报告]
发表于 2008-04-22 20:15 |只看该作者
很多Isilon的产品和方案可以从网站获得:www.isilon.cn
都是中文资料

论坛徽章:
0
3 [报告]
发表于 2008-04-23 10:30 |只看该作者
楼主是isilon的吗?

听说isilon去年底才进入国内市场吧
能简要通过图片解说下isilon的集群存储架构吗?

另外,国内已经有多少成功案例了

谢谢!

论坛徽章:
0
4 [报告]
发表于 2008-04-23 22:25 |只看该作者
Isilon是去年十月进入中国的,目前已经有不少客户,比如大庆油田、SONIC、还有几家电视台。

Isilon集群存储主要面向非结构化数据,大文件应用。主要有以下应用模式:
电脑模拟,比如CAD/CAM/CAE应用;
地震数据,比如CGG/Paradigm/WesternGEO;
视频图像,比如电视编播系统;

应用场合包括:
高性能计算环境;
存档和分级存储;
灾备和D2D备份;
WLAN文档传输和内容共享;

[local]1[/local]

论坛徽章:
0
5 [报告]
发表于 2008-04-23 22:33 |只看该作者
不知如何添加附件,再次尝试以下贴一个小点的PDF格式

4Chinanet.pdf

1.55 MB, 下载次数: 232

Isilon系统简介

论坛徽章:
0
6 [报告]
发表于 2008-04-23 22:44 |只看该作者
大一点的PPT格式,压缩成了rar格式,解开就可以看到,里面有不少动画内容。

论坛徽章:
0
7 [报告]
发表于 2008-04-29 12:11 |只看该作者
是个好产品啊!但如果在HPC上使用Isilon产品像:磁盘单点实效;每个子网只能单一NIC;数据没有更好的透明,如何解决?

论坛徽章:
0
8 [报告]
发表于 2008-04-29 22:56 |只看该作者

回复 #8 3150391 的帖子

首先,Isilon的集群存储,或者说真正的集群存储,必须做到每个存储节点都是等价的,是真正全对称的。坏一个节点不影响数据安全和文件系统的一致性。这跟高性能运算里面节点是一样的,服务器集群中坏一个节点,不影响作业的继续运行。调度系统将作业重新调度一下就可以了。

其次,Isilon的集群存储,可以提供N+M级别的容错能力。M可以是1,2,3,4;根据N(集群存储节点个数)不同,可以使用不同的M;M个节点失效以后,剩下的N-M个节点仍然占据多于【N/2】就可以保证数据的安全性。
注意这里的数据安全性是节点级别的,而不是磁盘级别的,换句话说,一个Isilon存储节点中可以有12块硬盘,如果采用N+1的保护模式,那么最多可以12块硬盘出现问题,而数据不丢失。

第三,除了以上提到的节点级容错之外,Isilon集群存储提供针对目录或者文件级别的镜像保护,保护数目根据数据重要程度,从1X到8X不等。

第四,关于单一NIC,Isilon的产品从IQ1920(12x160GSATA),IQ3000(12x250GSATA),IQ6000(12x500GSATA),IQ9000(12x750GSATA),IQ12000(12x1000GSATA),都是前端网络两个GigE接口,后端网络两个infiniband或者GigE接口。这些网口可以捆绑在一起使用,避免NIC的单点故障。

第五,关于“没有数据更好的透明”,不太理解,能否详细表述一下。谢谢

论坛徽章:
0
9 [报告]
发表于 2008-04-30 10:10 |只看该作者
某些方面是否和equoallogic相似啊
EL号称它们的设备每增加一个柜子(节点),性能变直线加一倍

论坛徽章:
0
10 [报告]
发表于 2008-04-30 11:50 |只看该作者

回复 #10 deadwind 的帖子

现在很多厂家都宣称有这种功能,需要区别对待。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP