看双机双柜是怎么解决的······

xintao800

需求：
   某单位要实现双机热备，但他们服务器为考虑本地容灾，服务器分布在不同楼层（假设分别为A层、B层）；由于阵列容易形成单点故障，所以增加一台冗余阵列，完成全面冗余的本地集群布置。
   
解决方案初步构想：
  我们先来考虑集群布置，server1为主服务器，位于A层;server2为备服务器，位于B层。这里有个众所周知的问题，AB两层的距离传统的阵列由于SCSI线缆的长度有限，无法连接，所以考虑增加ISCSI存储MD3000i，dell的MD3000i的连接方式不是SAS或SCSI，而是网线+千兆网卡的方式.
    有人说ISCSI不如光纤或SAS，事实上ISCSI要比SAS出色。ISCSI阵列与SAS阵列，如果相同级别产品来对比，比如MD3000与MD3000i它们之间的区别在于接口，其实硬盘都是SAS硬盘，MD3000的传输依赖与sasHBA，速度只有300MB/S，而MD3000i的千兆卡的速度为10GB，对比是很明显的。
   再说先光纤，光纤的传输为4GB，与千兆网卡的10GB真实传输速度基本是一样的
有点跑题了，现在我们方案继续，AB两层分别布置server1\server2，server1为主服务器，位于A层;server2为备服务器，位于B层。MD3000i我们放在B层（与备机放在一起），通过网线连接server1\server2，这就组成了一个标准的双机模式。

    第二台MD3000i放在A层，与server1在一起，它也直接连接2台sever，但始终处于冗余状态，2台阵列做数据的实时同步，并开启数据归档、回滚功能，可以恢复之前任何时间的数据，至此整个配置方案描述完毕。

下面我们看下效果，存在2种情况会发生：
    1、集群中其中一个节点失效时，如软件故障，硬件故障，另一个节点会迅速接管服务，继续为用户提供应用。
     
    2、集群中主阵列产生故障，应用全部瘫痪，这时候需要把数据路径更改为主阵列的数据路径，应用恢复

相关问题：
1、同步是怎样布置的？

只需要在主服务器上设置同步策略，指定同步路径即可

2、服务器故障后修复后应如何恢复？

在server1（主服务器）发生故障后，切换到server2（备服务器），主机修复后（如果重装系统，可以用之前导出的配置文件服务集群配置），这时候备机为主机，需要手工切换回原来的主机（也可以选择自动回切）。

3、阵列故障修复后该如何恢复？

由于新修复的阵列数据为以前状态，所以应该把它设置为备用阵列。




第二种解决方案。

主机把阵列认为本地硬盘，然后同步到备机的本地硬盘，因为数据是实时同步，况且有归档、恢复等策略，效果也比较理想，附件中的方案属于第一种解决方式。




附件： 本地集群容灾方案.rar (555.27 KB, 下载次数: 642)

2008-05-20 11:35 上传

点击文件名下载附件

Magicloud

"MD3000的传输依赖与sasHBA，速度只有300MB/S，而MD3000i的千兆卡的速度为10GB"
一般sas设备间连接使用四路宽端口，带宽为12Gb/s，单个千兆网卡带宽为1Gb/s。
300MB/s是你理解错误。10GB是怎么算出来的？
况且iscsi还要考虑tcp/ip延迟问题。即使用万兆网卡都未必比sas快。

[ 本帖最后由 Magicloud 于 2008-5-20 13:07 编辑 ]

xintao800

传统并行SCSI接口比较起来，SAS不仅在接口速度上得到显著提升(现在主流Ultra 320 SCSI速度为320MB/sec，而SAS才刚起步速度就达到300MB/sec，未来会达到600MB/sec甚至更多)，而且由于采用了串行线缆，不仅可以实现更长的连接距离，还能够提高抗干扰能力，并且这种细细的线缆还可以显著改善机箱内部的散热情况。
http://publish.it168.com/cword/3554.shtml

{况且iscsi还要考虑tcp/ip延迟问题。即使用万兆网卡都未必比sas快}
这句话我严重不同意，你的意思是tcp/ip协议没有SCSI 协议快？SAS只不过由原来的并口硬盘该成串口硬盘，我就不信它速度会提升多少？况且还有硬盘转速限制。
    10GB也不是我算的，是存储在线的专家算的：http://www.dostor.com/a/p/2007-09-13/0002635068.shtml
（现在，市场上对于iSCSI依然存在一些误解和看法。比如有人说iSCSI的速度要比光纤慢。首先我们需要弄清一个概念，FC与iSCSI的速度是怎样的？10Gb与4Gb，到底谁快？答案是一样快。它们所代表的仅仅是每秒传送的数据量，仅仅是一个带宽，而非速度。速度是什么？是每秒传输的距离。实际上对于大部分中小企业而言，FC和iSCSI的性能没有什么区别。特别当用户硬盘数量在60块以内，这种小IO环境下的iSCSI和FC对他们来说，性能上没有明显的差异。简单来说，用更低的成本获得的性能几乎是一样的。
  
      另外一个问题，目前依然有人认为iSCSI的安全性不如FC好。事实这两者的安全性是一样的，因为企业把大部分的存储设备放在内部网络中，其环境是一样的。唯一的不同在于，FC的协议复杂，熟知的人较少，而IP协议早已为大众所熟知。但请不要忽视，FC协议本身并没有经受过多少考验，而IP协议自诞生之日起便不断地被众多权威机构、厂商所完善。从某些角度而言，我们甚至可以认为，使用iSCSI更为安全一些。
  
      再一个误区是说iSCSI的可管理性不如FC那样好。实际上iSCSI不需要更多的管理，因此在管理方面会更加的简便。面对着基于IP协议的iSCSI，还想要怎样的简化管理？H3C存储产品线总裁李治曾经举过一个简单的例子：IP拥有完善的管理维护工具与机制，而FC，甚至连一个最简单的ping命令都没有去提供。孰繁孰简，一言以蔽之。
  
      我们不希望在此讨论FC与iSCSI孰是孰非的问题，也不想继续着FC消亡论。但我们需要看到的是，中小企业，他们也需要存储厂商提供企业级客户的量身打造的方案。中国中小企业市场是“一地碎银”，银子谁都想赚，但也不是随便就能赚到的。厂商也在重视这片沃土的同时，正视他们的需求，也许，Dell此次发布MD3000i便将是新一轮SMB战略实施的号角。我们也应该相信，随着中小企业存储供需矛盾的日益突出，此类的产品与方案将越来越多的出现在我们的面前。）

shahand

[B]" 再说先光纤，光纤的传输为4GB，与千兆网卡的10GB真实传输速度基本是一样的 "[/B]

xintao800

英特尔公司日前透露，公司将于本周推出10千兆的网络接口卡（NIC），其传输性能将超过铜质电缆，这使公司在不新安装造价昂贵的光纤电缆情况下用户实现了更高的数据传输速率：http://www.stor-age.com/stor-age/2008/0505/845573.shtml
InfiniBand的下一个版本四倍数据速率（QDR）问世后，会把速率再提高一倍，达到40Gbps：http://www.51cto.com/art/200704/44249.htm

ISCSI真实速度（带宽）应该是10000Mbps/8=1250MB/s

FC的真实速度（带宽）4000Mbps/8=500MB/s
可以看到双方理论速度（带宽）差距很大的，即使Magicloud 所言，存在网络延时，2种传输模式的速度（真实传输速度）也旗鼓相当。
之前我写的10GB没有核算成MB，向各位朋友道歉/

从以后的发展来看，iscsi已经在着手40GB的产品，而FC目前在在开发8GB的产品，有点落后了，嘿嘿

     FC应用比较广泛，成本高，稳定，而受欢迎，而iscsi出世不久，所以对它了解很少。即使速度都到达那么高，但是硬盘的转速以及主板、CUP带宽都会影响到往高速发展，形成速度的瓶颈。

[ 本帖最后由 xintao800 于 2008-5-20 15:48 编辑 ]

Magicloud

原帖由 xintao800 于 2008-5-20 14:27 发表
传统并行SCSI接口比较起来，SAS不仅在接口速度上得到显著提升(现在主流Ultra 320 SCSI速度为320MB/sec，而SAS才刚起步速度就达到300MB/sec，未来会达到600MB/sec甚至更多)，而且由于采用了串行线缆，不仅可以实 ...

很抱歉，你参考的这两段是部分错误的……
sas有两种接口，3Gb/s一般只用于终端设备（硬盘）连接，交换机等设备间连接使用四路端口，12Gb/s最大带宽、支持冗余。非标准设备有八路甚至十六路。
至于10Gb/s，我看文中没有提到它用什么网卡，我也不相信一个千兆网卡能跑到10Gb/s。万兆网嘛，价钱还是要考虑一下。

[ 本帖最后由 Magicloud 于 2008-5-20 16:47 编辑 ]

Magicloud

原帖由 xintao800 于 2008-5-20 15:24 发表
英特尔公司日前透露，公司将于本周推出10千兆的网络接口卡（NIC），其传输性能将超过铜质电缆，这使公司在不新安装造价昂贵的光纤电缆情况下用户实现了更高的数据传输速率：http://www.stor-age.com/stor-age/2 ...

iscsi的接口速度，确切的讲，是与网卡有关的。换句话说，你用万兆网卡当然比千兆网卡快（持续速度）。
但注意我上边提到的tcp/ip延迟问题，这个问题将导致突发速度大大降低，我想你的环境应该不是从一台机器“顺序”复制数据到另一台机器这么简单吧。
而sas使用可靠连接，突发延迟是不可靠连接（以太网）的三分之一。
我认为iscsi的真正优势在于大规模san。而不是性能。

[ 本帖最后由 Magicloud 于 2008-5-20 16:52 编辑 ]

acrux

可以用CA XOsoft容灾同步复制方案解决上述需求呀。如需帮助请联系本人。

QQ:122422936

xintao800

iscsi的接口速度，确切的讲，是与网卡有关的。换句话说，你用万兆网卡当然比千兆网卡快（持续速度）。
但注意我上边提到的tcp/ip延迟问题，这个问题将导致突发速度大大降低，我想你的环境应该不是从一台机器“顺序”复制数据到另一台机器这么简单吧。
而sas使用可靠连接，突发延迟是不可靠连接（以太网）的三分之一。
我认为iscsi的真正优势在于大规模san。而不是性能。

恩，我也是这么理解的，看来我们都把iscsi分析的透彻无比了，不过从目前发展来看，系统瓶颈还没有有效的解决，不管是SCSI、ISCSI还是SAN都存在系统瓶颈问题
    ISCSI我还是比较看好，虽然起步不是很长时间，但是它可能是以后的发展方向。
iscsi基于传统的tcp/ip协议传输，肯定存在延迟，但由于系统瓶颈的存在，应该表现的不很明显，iscsi理论速度甚至比SAN的速度都高

xintao800

我想你的环境应该不是从一台机器“顺序”复制数据到另一台机器这么简单吧。

是的，解决起来起来确实很麻烦，最初也是设计跟传统复制一样，基于文件或磁盘块的方式镜像，后来因为数据库打开过程中是不允许复制操作的。
    换了种思路去解决，软件直接截取写入缓存，使得2边同时写入，再把写入成功的信息反馈系统，这样就保证了数据的实时同步


我1楼设计的方案基础是一个传统的双机集群，然后把备份阵列连接到本地，成为本地硬盘，写入的时候同时写入这个备份硬盘；

当然我也考虑另一种方式去实现，阵列都分别挂载成主、备机本地硬盘，然后两个数据盘同步，这中方式我们实施也很多，但是考虑到以上用户接受问题，所以推荐了第一种方案