Chinaunix

标题: 两台IBM x346连接DS4500的盘柜，首先需要做RHEL4 的双机，然后建立Oracle RAC。 [打印本页]

作者: seeway 时间: 2006-11-01 17:19
标题: 两台IBM x346连接DS4500的盘柜，首先需要做RHEL4 的双机，然后建立Oracle RAC。
问题1：ibm这款机器把什么设备作Fence Device?
问题2：两边机器达到接管盘柜功能的话是否需要购买GFS的Option？

现有的资源是这样的：

硬件资源：两台IBM x346
            DS4500的盘柜
软件资源：RHEL 4 U3
            Cluster suite
            Oracle 10g

请问各位，我可以做到什么级别的cluster ？
或者哪位给个意见？

作者: seeway 时间: 2006-11-02 10:33
标题: 是否需要做redhat的cluster,然后再做RAC？
是否需要做redhat的cluster,然后再做RAC？

作者: soway 时间: 2006-11-02 13:34
提示: 作者被禁止或删除内容自动屏蔽

作者: blue_stone 时间: 2006-11-05 08:29
你的这个方案中RHCS集群的用途是什么？

作者: nntp 时间: 2006-11-05 13:06
如果要做failover 级别的Oracle cluster, 你需要购买RHEL+GFS+ Oracle即可
如果要做parallel级别的Oracle cluster, 你需要购买 RHEL+ Oracle RAC+Oracle即可.

如果是第一种方式，你需要到redhat的站点，查询 GFS支持的fence device 是否包含了你的服务器已经提供的管理卡选项
如果是第二种方式，你不需要考虑fence device的问题

Oracle9i的RAC曾经认证过和GFS协同工作，不过10g貌似没有这样的认证了.

作者: seeway 时间: 2006-11-05 21:55
用户需求竟然是绑定多链路的光纤卡认到磁盘柜上的逻辑磁盘即可！

作者: nntp 时间: 2006-11-06 11:13

原帖由 seeway 于 2006-11-5 21:55 发表
用户需求竟然是绑定多链路的光纤卡认到磁盘柜上的逻辑磁盘即可！

native multipath + 方法1

作者: seeway 时间: 2006-11-06 16:22
问题就在这，multipath里面认到的逻辑盘不能被OCFS识别，OCFS只能识别DM-#的设备，并且一旦切换光纤链路就会出现死机！

作者: nntp 时间: 2006-11-06 17:42

原帖由 seeway 于 2006-11-6 16:22 发表
问题就在这，multipath里面认到的逻辑盘不能被OCFS识别，OCFS只能识别DM-#的设备，并且一旦切换光纤链路就会出现死机！

Sorry, 你搞错了. 你说的是不对的.

native multipath可以很好的被ocfs2支持. 不会出现你说的情况. 这是我在实施中已经确认的.

作者: blue_stone 时间: 2006-11-06 22:14

原帖由 seeway 于 2006-11-5 21:55 发表
用户需求竟然是绑定多链路的光纤卡认到磁盘柜上的逻辑磁盘即可！

ibm的rdac是不是可以完成你要求的工作?

作者: seeway 时间: 2006-11-07 10:14
To blue_stone ： RDAC如果认得出来的话那就可以满足我的需求！

To nntp ：事实上是我在OCFS里面认不到！multipath里面会生成一个文件名很长的逻辑盘，可是在OCFS里面看不到，只能看到DM-#这个硬盘，虽然说实际上文件名很长的那个硬盘实际上也就是DM-#这个硬盘，但是在OCFS里面却只能看到一个DM-#的。我想确认的是IBM官方没测试过的光纤卡是不是会出现这种问题？因为把OCFS文件放到可见的那个DM-#硬盘上，有时候也是可以切换光纤的，有时候会死机！

作者: nntp 时间: 2006-11-07 21:21
为什么multipath 里面会生成一个"文件名很长"的逻辑盘？我彻底的不理解.

作者: seeway 时间: 2006-11-08 09:58
我问过红帽，那里的工程师说使用Multipath绑定光纤线路后就会生成这个长文件名的磁盘设备XXXXXXXXXX，并且使用kparts命令以后会生成XXXXXXXXXXp1,XXXXXXXXXXp2等等。红帽工程师明确告诉我在OCFS分区内必须使用XXXXXXXXXXp1,p2分区。不过我想这个长文件名我们是可以通过alias更改的吧？

作者: nntp 时间: 2006-11-08 13:44
红帽的工程师? 哪位这样告诉你的.
另外，你作multipath用什么做的?

作者: seeway 时间: 2006-11-08 16:07
工号9320，告诉我的！
multipath是安装了系统以后自带的

作者: seeway 时间: 2006-11-08 16:19
下面是我的具体步骤
取消文件 /etc/multipath.conf中这段的注释，这段内容可以让 device-mapper multipathing 不用扫描所有的设备。 etc/multipath.conf file:

defaults {
   multipath_tool  "/sbin/multipath -v0"
   udev_dir       /dev
   polling_interval 10
   default_selector       "round-robin 0"
   default_path_grouping_policy multibus
   default_getuid_callout  "/sbin/scsi_id -g -u -s /block/%n"
   default_prio_callout "/bin/true"
   default_features       "0"
   rr_wmin_io             100
   failback             immediate
}
devnode_blacklist {
   wwid 26353900f02796769
   devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
   devnode "^hd[a-z][[0-9]*]"
   devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
}
这段设置了默认的 device-mapper 的动作，并且去出了通常不会有多路径的设备，如IDE硬盘和软盘。默认的hd*设备的黑名单存在这一个排印错误。需要修改。

devnode "^hd[a-z][[0-9]*]"
把上行修改为如下:

devnode "^hd[a-z][0-9]*"
为了实现简单的failover功能，下例中，defaults 组中的默认的 default_path_grouping_policy 选项被设置成为 failover。

defaults {
   multipath_tool  "/sbin/multipath -v0"
   udev_dir       /dev
   polling_interval 10
   default_selector       "round-robin 0"
   default_path_grouping_policy failover
   default_getuid_callout  "/sbin/scsi_id -g -u -s /block/%n"
   default_prio_callout "/bin/true"
   default_features       "0"
   rr_wmin_io             100
   failback             immediate
}
退出编辑并保存设置，执行如下命令

modprobe dm-multipath
modprobe dm-round-robin
service multipathd start
multipath -v2
命令 multipath -v2 可以显示多路径，从而可以知道那些设备工作在多路径下。如果没有任何输出，确认所有的SAN连接被正确的设置，系统有没有正确的开启多路径功能。执行如下命令确认多路径服务有无启动。

chkconfig multipathd on
chkconfig --level 3 multipathd on
chkconfig --level 5 multipathd on

设备的设备名会被生成，/dev/dm-#，#指代的是多路径组，如果/dev/sda是唯一的多路径设备，/dev/dm-0将会是/dev/sda和/dev/sdb的多路径设备。注意：fdisk不能用于设备/dev/dm-#，使用fdisk只能操作基础磁盘，要在设备映射多路径映射设备上创建/dev/dm-#分区的操作. 执行一下命令。

kpartx -a /dev/dm-#

上个操作第一次做好以后需要分区，并且建立文件系统。会生成两个分区。
fdisk 3600a0b800019c1eb00000005454ac879
[root@ASRS-DB-SVR1-priv mapper]# fdisk -l 3600a0b800019c1eb00000005454ac879

Disk 3600a0b800019c1eb00000005454ac879: 437.2 GB, 437221228032 bytes
255 heads, 63 sectors/track, 53155 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

                           Device Boot    Start       End    Blocks Id  System
3600a0b800019c1eb00000005454ac879p1             1    52905 424959381 83  Linux
3600a0b800019c1eb00000005454ac879p2          52906    53155    2008125 83  Linux

另外一个节点只需要执行以后就可以了，会自动认出上述的两个分区。
[root@ASRS-DB-SVR2 mapper]# kpartx -a /dev/mapper/3600a0b800019c1eb00000005454ac879
[root@ASRS-DB-SVR2 mapper]# ls
3600a0b800019c1eb00000005454ac879 3600a0b800019c1eb00000005454ac879p2  VolGroup00-LogVol00
3600a0b800019c1eb00000005454ac879p1  control

作者: nntp 时间: 2006-11-08 23:07
晕倒，搞了半天，你作了一个非native 的multipath.

我建议你用厂商认证的光纤卡作native 的multipathing,如果不这样做的话，就算你这次捣鼓好了，你怎么能够肯定以后上了生产环境之后，因为负载，配置变动等等各种因素引发突然的故障?

[ 本帖最后由 nntp 于 2006-11-8 23:13 编辑 ]

作者: seeway 时间: 2006-11-10 11:44
nntp:
发表于: 2006-11-8 23:07 主题： [引用] [投诉] [快速回复]

--------------------------------------------------------------------------------

晕倒，搞了半天，你作了一个非native 的multipath.

我建议你用厂商认证的光纤卡作native 的multipathing,如果不这样做的话，就算你这次捣鼓好了，你怎么能够肯定以后上了生产环境之后，因为负载，配置变动等等各种因素引发突然的故障?

非native 的multipath.是什么意思？
我不大明白，不大懂！能给我讲解下么？

作者: cubzsd 时间: 2006-11-10 13:00
正版应该有服务的.为什么不让厂家做方案实施?

作者: seeway 时间: 2006-11-10 16:36
红帽子会管你实施？那简直是白日作梦啊，电话支持我觉得还是不错的，并且红帽的工程师还有回访！

作者: nntp 时间: 2006-11-10 21:22

原帖由 seeway 于 2006-11-10 16:36 发表
红帽子会管你实施？那简直是白日作梦啊，电话支持我觉得还是不错的，并且红帽的工程师还有回访！

实施服务有的，已经在前几个月在国内宣布了,有明码标价的，当然实施服务的价格不算在 OS的订阅费用中的. 两码事.

作者: mysea83 时间: 2006-11-20 16:26
这个要求就是直接做RDAC啊

作者: mighty 时间: 2006-11-30 16:17

原帖由 nntp 于 2006-11-5 13:06 发表
如果要做failover 级别的Oracle cluster, 你需要购买RHEL+GFS+ Oracle即可
如果要做parallel级别的Oracle cluster, 你需要购买 RHEL+ Oracle RAC+Oracle即可.

如果是第一种方式，你需要到redhat的站点，查询 ...

第一种，没有管理卡也能做fence

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)