免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: hoking
打印 上一主题 下一主题

[集群与高可用] Isilon集群存储 有问必答 [复制链接]

论坛徽章:
0
21 [报告]
发表于 2008-12-21 00:06 |只看该作者
附一个演讲稿和此演讲稿的PPT

====================================================================================================
我今天给大家讲30分钟关于我们公司的产品新一代高性能绿色存储架构,我们赛龙公司的产品从去年10月份进出市场,在座的如果对集群架构了解的话就会听过我们的产品,我简单地介绍一下我们的产品的几大特点,简单来说有三个特点,第一个是绿色,第二性能非常优越,第三数据安全性非常高,我们分别针对这三个特点给大家一一展开做一个介绍。

    首先我们先看产品绿色的特点,在介绍之前我想给大家看一下赛龙集群存储架构,(播放PPT)这个图咱们看一下最左边这一列是客户端,我们可能会有WINDOWS或者苹果的服务器,是现有的架构服务器,中间的网络是千兆以太网的网络,左边两边就是都是属于集群存储的架构范围,大家看到,我们集群存储是由若干个存储服务器构成的,大家看到存储服务器都是一模一样,没有主从之分,这些服务器组合在一起形成了集群的存储架构,如果熟悉集群架构,比如说服务器集群架构的人,我们的架构就是基于集群的架构搭建出来的架构,是怎么工作的呢?是由两部分网络构成的,左边每一个结点都由一个千兆以太网的连接,右边是有一个额外的服务器,infinibaed的带宽,网络延迟是三到四个微秒,目前所有的高速网络里面网络延迟小,网络延迟要带来的好处,一个结点往另外一个结点读取数据的时候,比本地硬盘还要快。

    我们看一下集群存储跟现有的其他存储,现在流行的NAS和SAN,NAS和SAN一般都是一个集头带多个盘阵,我们一般配两个集头,这个架构实际上就是NAS和SAN的架构,也就是说这个存储的处理能力、性能是限制于集头的,买了集头之后存储的性质有一个极限值在那儿,如果达到极限值之后肯定需要更换集头,这是现有的存储架构。

    我们的集群存储和现有的集群架构,他们是什么样的关系?或者比较起来怎么理解这两种架构,我们可以先看传统的存储,也就是一个集头带两个集头带若干个存储盘阵的架构,形象地理解成没有提速前的火车,每个车厢都装乘客的,机头是提供动力的,当机头坏掉了,整个存储就不能提供服务了,也就是说后端的存储不管有多大,完全依赖机头提供动力。

    对于我们的集群存储,它是由若干个存储服务器构成的,这个服务器每一个都是一样的,一样表现在什么方面呢?就是说每一个结点既提供动力又提供容量,形象地比较就是现在咱们的动车组,每一个车厢都既有动力又具有装乘客的能力,这个特点,我即使一个车厢坏了,整个列车仍然是可以运行的,只不过动力受到影响。前两天有一个《对话》节目,专门采访高铁的负责人,当时上高铁的时候有两个选择,一个是集中动力型,一个是分散动力型,最后选择分散动力型,由此看出集群存储是最好的发展方向。

    存储一般来说有两个方面的指标,一个是性能,一个是容量,这两方面对存储实际上提出了两个方面的要求,不管从存储的性能方面考虑还是容量方面考虑,我们在绿色方面,绿色顾名思义,就是占的空间,耗费的能源,制冷方面都需要考虑,在这些方面我们都具有非常强大的优势,我们的架构决定了每个结点既有动力又有容量。

    总的来说我们可以做一个数字的比较,不管占的空间、动力还是制冷方面,我们比传统都要节省50%以上,这是符合绿色存储的要求。

    第二个特点就是性能非常好,集群存储为什么提供非常好的性能?我们从架构角度做一个探讨,所谓一个存储的性能好坏,最主要是看读和写怎么样完成,首先看一个写的操作,一个文件从客户端发起请求,写到存储有这么几个操作,客户端先把这个文件发出来,通过核心交换机,然后写到我们的存储上,大家可以看,我们的存储,现在我举例子是由八个结点构成,我们有一个模块是做负载均衡用的,从八个结点里头选择出目前最闲的结点来接收你发送读写请求的文件,这个文件到了结点之后,没有写到磁盘上,我现在有八个结点,这个文件自动地由这个结点分成八个小块,通过后端的交换机,带宽高,网络延迟小,通过交换机把八小块数据分别写到各自的硬盘上。

    形象地举个例子,传统架构我要写到磁盘上,一个人搬八个箱子,现在是八个人搬一个箱子,效率和速度大大提高,这就是架构决定了写的性能比一般的存储性能高很多。反过来看读一个文件,这个非常好理解,就是写的一个反过程,也就是充分利用了infinibaed的带宽,从这个角度看,我们的集群存储给客户提供了非常高的读写性能。一个文件还是看读的过程,从集群存储八个结点汇总到一个结点之后,通过交换机返回到客户端上。这里头看到,文件可以跨平台访问,刚才可以是windows写到存储上。

    我们的集群存储可以有哪些可选的型号?我们先看右上角,我们有五个型号,从1920X到12000X,这个数字并不是越高代表着型号的性能越好,我们的数字五个型号外观看起来都是一模一样的,都是右上角的服务器盒子,里面既有CPU又有内存又有存储,每个里面都有12块硬盘,数字的差别就是代表多大的空间,1920是12块硬盘两个T,每个硬盘就是60个G,12000的型号12个硬盘12T的空间,每个硬盘是1个T的存储,这个是基础平台的一个配置。比如说现在有一个需求,需要配60个T的存储,我可以配10个6000就可以达到要求,可能在使用的过程中发现60个T的存储可能不够用了,可能会有两个方面,第一个,存储空间不够用了,但是我的10个结点提供的总体性能还是满足我的要求的。第二个情况我的性能不够用了,但是这60个T还是够用的,针对这两个不同的需求,我们还有其他两个型号的产品可以供大家选择,对于60个T的空间仍然够用,但是它的处理性能不够用的情况下,大家可以看左上角这个硬件平台,加IQ加速器,里面只有CPU和内存,但是不带磁盘,磁盘贵,我可以把加速器非常方便地加入到我的集群存储里面去,这样就可以使达到提高处理能力的效果。

    对于第二种应用需求,就是我刚才说的存储空间不够了,但是处理性能还够的情况,我可以在每一个基础结点下面挂一个磁盘扩展柜,这样就可以非常容易地把我们的整个存储空间至少可以翻一倍,结合这三个满足不同需求的硬件平台,可以既保护了以前的投资,也可以容易、方便地达到存储扩展的目的。

    刚才我给大家做得介绍,我们的存储架构实际上就像动车组这种架构了,也就是说我们的存储架构是一个容量和带宽同时增长的这么一个架构,我们可以从这张表上看,我们一共有五个基础平台的架构,从1920到12000,举个例子,我们现在要配148TB的存储,可以选五个基础平台里的任何一个都可以达到要求,但是刚才我也说了,存储有两个方面的需求,一个是性能一个是容量,48个T仅仅是容量方面的要求,接下来考虑我的性能达到什么样的级别,可以从这张表上,48T往上看,大家可以看到1920可以达到非常高的带宽,40个T对于1920来说,因为1920每一个结点提供两个T的空间,48个T需要24个 1920才能达到,24个1920可以提供4800兆大B的带宽,对于12000这个型号来说,48个T只需要4个结点就可以达到了,带宽可以达到800 兆B,容量越多结点数越少,综合考虑性能和容量两个参数才能达到对存储的要求。

    接下来看我们的操作平台,大家可以根据自己常用的硬盘平台的指标,单网卡可以达到120兆大B的带宽,绑定之后X2,一般把性能形容成每个网孔提供100兆大B的容量,因为我们的容量和性能都线性增长。

    另外,我给大家介绍过加速器的带宽,我们现在加速器支持万兆网络,一个加速器可以提供5120兆大B的网络,不同的平台可以运用到不同的硬件需求上,如果大家对这些存储怎么样带做配置,满足我们的需求的话,随后可以跟我们在下面联系做很多讨论。

    最后一点,我们的集群存储的数据安全性非常高,我们怎么样实现容错,容错可以提供两个级别的容错,第一个级别是结点级的容错,怎么来理解呢?我们看一下这个小动画片,还是拿一个文件写到存储里头做例子,这个文件还是有八个结点,分成八个小份,假如说某一个结点发生问题了,这个结点当掉了,这个数据仍然是安全的,刚才说每一个结点都有12块硬盘,我可以同时允许12块硬盘发生错误,但是数据都是安全的,这跟传统的有本质的区别,因为实现容错的架构是在操作系统这一级,所以我说是结点型的容错,如果N+1还不行的话,我们可以最多支持4个结点,可以换,数据仍然是完整的,这个容错机制跟业界其他的锐的容错机制完全不一样,这个也是我们非常有特点的一个产品特性。

    这个跟传统锐的比较大的区别是,如果我们存储选用了锐的话需要改变级别的话,唯一的方法就是格式化掉,我刚开始选了N+4的保护模式,过了一段时间之后觉得N+4有点多,就改成N+2上,是第一类的容错是结点级的容错。

    接下来看第二级容错是文件级的容错,我可以针对某一个目录或者某一个文件,比如说自己有独立的私人目录,我可以针对这个目录做单独的设置,对于这个目录下的所有文件或者某一个文件可以做到两份一直到八份的进项,这个每一个进项都会分布在不同的结点上,给咱们的数据提供足够的数据保密度。即使结点或者是磁盘失效了,我们的数据仍然是安全的,实际上结合了这两种容错模式,一个是结点级的容错还有一个是文件级的容错,我们的数据日常备份基本上没有必要了,因为数据容错级别非常高。而且这个文件级的容错是针对某一个目录甚至是某一个单一文件来完成的,所以跟传统的文件备份的方式也有比较大的区别。

    我们的产品的三大特点我就给大家介绍到这儿,最后还想给大家介绍一下我们的产品整个家族,它的构成,我们的家族构成一目了然,对于我们的操作系统就叫 YFS,目前版本是5.0,硬件平台有四大系列,最左边是IQ200,这个产品退出市场了,右边三个是我们目前可选的平台,第二个就是1920到 12000是基础平台,做基础配置的时候就用这个平台,另一个型号做选择就好,加速器只提供存储的处理能力,提供带宽,但是不提供存储容量,最右边磁盘扩展模块是只提供存储空间但是不提供处理能力。

    在硬件平台之上跑的是YFS,YFS之外还有5个收费的付费模块,snapshotIQ做快照的,它的作用不太大,但是它的功能跟其他厂商非常类似,第一我们的snapshotIQ不用做快照,我们的snapshotIQ对快照的数量也没有限制。

    第二个模块叫smartconnect,还有一个叫smartQuotas,这个主要做用户访问空间限额用的,可以针对用户或者某一个目录做空间限制,从而达到空间有效地利用,另外两个模块叫Synclq和Aspera。

    最后总结,集群存储架构非常新颖,属于动力分散型的集群存储架构,采用集群的方式设计的存储,在存储业界发展引领了非常好的潮流,第二个,我们符合了绿色存储的要求,第二性能非常好,数据安全性也非常高。

Isilon.tar

20 KB, 下载次数: 104

Isilon演讲稿

论坛徽章:
0
22 [报告]
发表于 2008-12-24 18:19 |只看该作者
很好的方案,怎样才有更详细的介绍资料呢?

论坛徽章:
1
CU十二周年纪念徽章
日期:2013-10-24 15:41:34
23 [报告]
发表于 2008-12-24 22:36 |只看该作者
这个玩意有的意思

论坛徽章:
0
24 [报告]
发表于 2008-12-26 17:14 |只看该作者
回复22楼,请和我联系,我的MSN是 : hoking@263.net

另外你需要哪方面的资料,可以留言。

谢谢

论坛徽章:
0
25 [报告]
发表于 2008-12-28 23:14 |只看该作者
我关心价格问题,可否报一下基本价位

论坛徽章:
0
26 [报告]
发表于 2008-12-30 20:21 |只看该作者
回复25楼:

价格比SAN的要低,比一般的盘阵要高。具体项目再看。

论坛徽章:
0
27 [报告]
发表于 2009-01-06 16:04 |只看该作者
坦白说如果仅仅是存放大文件,买个这样的NAS真的不值得

论坛徽章:
0
28 [报告]
发表于 2009-01-06 17:27 |只看该作者
集群存储架沟感觉非常容易理解,个人感觉关键是厂商能做到什么程度,

论坛徽章:
0
29 [报告]
发表于 2009-01-08 11:14 |只看该作者

回复 #27 jones2003 的帖子

集群存储主要面向非结构话数据,而且面向高带宽需求的业务。
如果只是存放文件,还不如去买很便宜的那种盘阵。

论坛徽章:
0
30 [报告]
发表于 2009-01-08 11:17 |只看该作者

回复 #28 xiaomao2006 的帖子

如果您对服务器集群或者HPC比较熟悉的话,那么集群存储里面集成了所有元素,包括操作系统,集群管理软件,资源管理软件,资源调度软件,负载均衡软件,infiniband结束,IP over IB,等等。

而且融合了其他独特的技术,包括SmartCache技术(全局cache),N+M的数据保护技术(高于RAID6)。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP