免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2807 | 回复: 0

[RAID与磁盘阵列] IBM XIV SSD缓存揭秘,将支持纵向扩展? [复制链接]

论坛徽章:
0
发表于 2012-02-23 22:03 |显示全部楼层
本帖最后由 pingfan2 于 2012-02-23 22:07 编辑

  EMC于本月6日重点推出了VFCache服务器闪存缓存产品,相比之下IBM XIV Gen3按原计划加入的SSD缓存支持显得比较低调。在《EMC VFCache对决IBM XIV Gen3 SSD缓存》一文中,我们编译了来自IBM的对比资料。尽管笔者曾经分析过IBM第三代XIV网格磁盘存储系统的改进之处,但新加入的SSD缓存也算是比较大的变化,有一些值得与读者分享的地方。  
  VFCache和XIV Gen3 SSD Caching都是将闪存用于读缓存来加速阵列,VFCache的容量为300GB,由美光提供的PCIe闪存卡与Fusion-io在硬件上属于同一种形式;而IBM XIV Gen3加入的应该是400GB SATA接口SSD驱动器,单个模块的性能(特别是IOPS)无法与EMC VFCache相比,但XIV的SSD缓存却是分布式的,在每个数据/接口模块上都有一个(最多15个节点一共6TB)。理论上说VFCache位于服务器PCIe插槽上具备更低的访问延迟,但却无法扩展或者被多个物理主机共享;XIV Gen3 SSD缓存可以随着系统的“Scale-out”而同步扩展,并且能够被连接到存储阵列的所有服务器共享

  除了以上两者,我们还想起了较早开始在阵列中配置固态DRAM/闪存缓存的NetApp,其通过Data ONTAP 8.1集群模式也加入了横向扩展的特性。那么NetApp Flash Cache(PAM II PCIe闪存卡)与IBM XIV Gen3 SSD Caching又各有什么特点呢?

  此外,笔者还想对XIV SSD缓存的性能,为什么不使用PCIe闪存卡?以及XIV的未来发展做一些讨论。

  SSD驱动器用于缓存、后端SAS接口暗藏玄机

  首先,我们还是从XIV Gen3单个节点的硬件谈起,之后再从整个系统和功能的角度进行分析。

IBM XIV Gen3接口模块:基于一款针对存储优化的Intel服务器平台

  如上图,根据箭头和文字的示意,可以看到在这个2U机架式双路至强5500服务器平台中,安装了一颗Xeon E5620四核CPU;左侧由它控制的内存槽中插有3条8GB DDR3内存(一共24GB);电源和散热风扇都是冗余配置;7个PCI扩展槽位看上去都被占用了,从左边第二块卡开始分别是20GB/s InfiniBand HCA千兆iSCSI网卡和两块8Gb/s Fiber Channel(光纤通道)HBA,其中iSCSI和FC HBA是XIV的接口模块具备而数据模块没有的。那么剩下的3个插槽中都是什么设备呢?SSD缓存又在哪里?

  我们将前面一张图放大看:

  用红色箭头①指出的就是SSD插槽(请结合下文中的图片),不过似乎有从主板连过来的SATA线缆,因此这里应该是一块安装SSD的转接板卡,而不是我们之前猜测过像Fusion-io和NetApp PAM II那样的PCIe闪存卡。

  箭头②所在位置除了SATA线缆之外似乎还有供电连接,也就是应该没有从下面的PCIe插槽取电,此处是为了安装存放XIV操作系统软件的CF闪存卡

  注:CF卡使用的协议属于并行ATA,实现与SATA之间的转接相对比较简单。

  箭头③左边指向的应该是6Gb/s SAS HBA卡,由它接出来的两条线缆中的一条估计是通向了机箱前端的SAS硬盘背板,而另外一条引向了右边,并从主板另一侧连接到上图右上角的转接板。这个的用途又是什么呢?

  为什么说XIV使用的是SAS HBA卡而不是RAID卡呢?这个要从它的架构原理谈起。IBM XIV底层使用的数据保护技术不是传统的RAID,而是以宽条带化的形式,通过伪随机算法将全部磁盘空间打散为1MB大小的数据块。每一个数据块都在另外一个节点的某一块硬盘上保持一份镜像,因此来自主机的访问能够被平均分布在每个模块和硬盘上,理论上不存在数据“热点”。同时在重建损坏的硬盘时,其数据几乎来源于其它模块中的每一个硬盘,2TB硬盘重建甚至只需要几十分钟,大大短于传统RAID,并且Rebulid过程对性能的影响较小

带有FC和iSCSI接口的XIV Model 114(即第三代XIV)接口模块,数据模块上3个主机接口扩展卡的位置是空着的。

  在2U接口模块的背面,从右往左看:首先是20GB/s InfiniBand HCA上的2个端口,分别连接到2个互为高可用的IB交换机;接着是一块4端口1Gb/s iSCSI以太网卡、2块双端口8Gb/s光纤通道HBA;“SSD Slot”的位置,应该可以插入一个2.5英寸SSD驱动器;而“Memory Flash Card”在金属档板上就是一个CF存储卡的插槽。靠近中间的位置有用于管理的USB和RS-232串口,这里的2个主板集成千兆网口也可以用于iSCSI;在它们左上方红圈里的2个接口,就是我们刚提到的SAS连接?再放大一些看看:

  现在看SSD和“Memory”闪存卡的插槽就更清楚了,IBM之所以要将它们设在这个位置,一方面因为服务器机箱前面板已经被12个3.5英寸SAS驱动器(上一代XIV是SATA)占满了,另一方面就是可以方便的插拔更换,SSD驱动器甚至支持热插拔——XIV Gen3应该可以在联机状态下启用或者禁用SSD Caching。

  我们认为,引出这2个SFF-8088样式的miniSAS x4接口的意图很明显,就是未来可能会加入Scale-up(纵向扩展)能力,通过在每一个XIV接口/数据模块的后端级联JBOD,增加驱动器的数量,从而获得更大的容量和磁盘性能。其意义我们将在本文的下一页进行更多分析。

IBM XIV Gen3运行的系统软件就保存在这样一个4GB CF卡上

  记得笔者去年9月电话采访IBM科技与系统事业部磁盘存储产品首席技术总监Vincent Hsu(许育诚)先生时,曾经问到:“XIV除了增加横向扩展节点的数量,还可以采用Scale-out + Scale-up的组合,即在每个控制器节点(数据模块)后端连接JBOD或者使用高密度盘柜。XIV会采用哪一种?”

  Vincent Hsu的回答是:“由于控制器CPU和缓存能力的提高,速度变快了,我们也在研究将来XIV做高密度的机箱(驱动器柜),使每一个模块内的磁盘数量增加。但这不是今年或者明年的事情,属于未来的发展方向。”而上面提到的发现,则进一步证实了之前的推断。

戴尔EqualLogic PS4100控制器上空焊的SAS扩展端口

  无独有偶,笔者曾经在拆解戴尔EqualLogic PS6100/4100 iSCSI阵列的控制器时,也看到了电路板上预留空焊的SAS扩展端口(当前同样不支持驱动器扩展柜),Scale-out + Scale-up是否会成为将来流行的趋势呢?


接下页:二、XIV Gen3架构及性能对比分析、未来展望
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP