Chinaunix

标题: （原创）IBM EXP400盘阵在HA应用中如何配置。 [打印本页]

作者: joyhappy 时间: 2005-12-30 17:49
标题: （原创）IBM EXP400盘阵在HA应用中如何配置。
在HA双机配置中，有一些zz用了IBM的EXP400，下面将一些注意事项贴出来，省得各位走弯路。

由于IBM EXP400并不是真正意义上的共享SCSI盘阵，有点类似于DELL 的220s，通过RAID卡的clustering方式＋扩展磁盘柜的方式来实现。但不同于220s的是exp400通过硬件的方式，在clustering方式是避免两个节点同时访问数据，这对于那些active－standby的应用来说，是一个很好的保护应用数据的功能。（但我个人很鄙视exp400）

一。介绍
IBM低端磁盘阵列基本上是磁盘柜，严格意义上说不是一个真正的磁盘阵列。EXP400/300没有RAID功能，需要通过服务器节点上插上RAID卡，然后将EXP400接到RAID卡的通道上来实现RAID功能。EXP400磁盘柜支持Ultra320规格，最大可插入14个SCSI磁盘。
EXP 400 的标配是单通道的，增加ESM（Enclosure Services Module），就可提供第二个scsi接口，能同时接两台机器了。
如果使用EXP400磁盘系统来实现双机HA集群系统，则必须配合使用IBM的ServeRAID系列的RAID卡。有关RAID卡的驱动安装，管理工具，Cluster方式的配置等，都是通过IBM ServeRAID 软件工具包来实现的。目前ServeRAID Family 软件工具包的版本是7.10，该软件包可以从IBM网站下载：http://www-306.ibm.com/pc/suppor ... lndocid=MIGR-495PES。ServeRAID7.00软件包集中在一张光盘中，而从7.10开始有两张光盘，一张包括ServeRAID的驱动程序ips，产品和用户手册以及光盘启动管理模块，另一张包括ServeRAID Manager RPM包。通过光盘自引导或者是ServeRAID Manager RPM都可以进行RAID配置。
安装配置ServeRAID和EXP400的集群方式，可以参考手册：
http://linuxha.trick.ca/ServeRAID
http://wiki.trick.ca/linux-ha/Ge ... rdwareConfiguration。
必须指出的是，当在一个节点上通过ServeRAID卡来配置好RAID之后，在另一个节点上是看不到EXP400的RAID逻辑盘的，也就是说，ServeRAID＋EXP400实现的Cluster方式在同一时刻只允许一个节点可以访问。通过IBM提供的ipssend接口工具可以实现具体哪一个节点对EXP400的访问权。ipssend是一个可执行的命令行程序，在ServeRAID Family的软件包中，通过不同的命令行参数可以实现对ServerRAID卡的一些控制，当然也包括对Cluster方式的控制。
用serveRAID软件包在主节点配置好RAID后，在主节点配置cluster方式时，要注意ServeRAID卡接EXP400的那个通道的Initial ID要配置成6或者7，parter Id设置成从节点的Initial ID；而在从节点上应将partner的ID设置成主节点的Initial ID。

二。配置限制：
1. 必须配置阵列卡为主从关系，所有的逻辑驱动器都定义到主卡上
2. 两个阵列卡的条带大小和BIOS/firmware版本要相同
3. 所有的物理驱动器必须配置阵列。Cluster方式下中不能存在“ready”状态的物理驱动器
4. 必须设置所有主阵列卡的逻辑驱动器的写缓存模式为write-through。
注意：如果该阵列卡是具有备份电池的，当其创建Cluster方式下时会取消此功能。
写缓存模式会自动的从write back转换到write through。
5. 所有的逻辑驱动器必须具有唯一共享的合并组（merge-group）数。
6. 当在一个系统中使用多个merge组时，每一套阵列卡必须拥有唯一的controller name和partner name。
7. 所有板载阵列卡即使没有使用也必须要激活。

三。应用限制：
1. 在Cluster方式下环境中不支持hot-spare驱动器。
2. 禁止热添加（hot-add)阵列卡。
3. Cluster方式下多阵列卡也不支持在一个相同的服务器中共存
4. 如果一个逻辑驱动器具有以下情况则不能Cluster方式下
a) RAID5，RAID5E或RAID5EE的逻辑驱动器在出错状态下
b) 正在进行重建
c) RAID5E正在进行压缩或者解压操作
d) 正在进行逻辑驱动器的迁移
5.目前的ipssend版本仅支持RAID-1的情况，在其他RAID级别中可能会有不稳定的情况。

四。总结
1。通过测试发现，IBM EXP400是一种特殊的低端磁盘阵列，严格意义上讲是一种磁盘扩展柜，客观讲并不是双机cluster的一个好的选择。如果要用EXP400做双机cluster时，该产品本身就有很多限制。所以需要用户首先和IBM确认好EXP400的功能特性。这样就容易界定哪些是EXP400的问题，哪些是HA软件的问题。
2。在封装ipssend的时候对ipssend的命令参数controler号和merge组号需要灵活设置。但这种方式对于多个应用服务的HA来说，可能会有问题。

[ 本帖最后由 joyhappy 于 2006-1-12 12:38 编辑 ]

作者: joyhappy 时间: 2005-12-30 17:57
标题: 回复 1楼 joyhappy 的帖子
又替这些“店大欺客”的公司免费做了support，不值啊。。。

作者: ljhb 时间: 2005-12-30 19:33
呵呵，从某种意义上讲,exp series是做ha最好的选择，因为省了share storage lock的手段

作者: joyhappy 时间: 2005-12-31 09:53
标题: 回复 3楼 ljhb 的帖子
不过个人认为，IBM exp400 还是不如 DELL 220S。

因为IBM OEM的是adaptec的，而DELL OEM的是LSI，我觉得adaptec的RAID卡功能比LSI的稍逊。

作者: nntp 时间: 2006-01-02 18:54

原帖由 ljhb 于 2005-12-30 19:33 发表
呵呵，从某种意义上讲,exp series是做ha最好的选择，因为省了share storage lock的手段

怎么可能？节点上的HBA,不仅仅是pass throug而已...晕...

作者: lky 时间: 2006-01-04 11:02
3年前做过一个HP RS/12的双机，跟这个一摸一样，做的时候问题比较多，还好做好后一切正常，切换也正常。
NT4.0+ROSE HA + ORACLE

作者: lsw 时间: 2006-01-04 12:47
很不错的文章啊

精华！

作者: chfirefox 时间: 2006-01-12 10:56
呵呵，好东西

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)