多台刀片柜组成的并行计算集群，如何搭建后端的SAN存储网络

冬瓜头

如果计算过程中的数据吞吐量或者io很高的话，得考虑去掉单一io节点，转用计算节点直接访问存储的方式，或者使用分布式存储，使用一种集群并行文件系统，将计算节点本地的存储虚拟起来。计算密集而io不密集的话，考虑采用io节点方式来节约众多计算节点上的适配器以及专用集群文件系统的成本，转而使用免费的比如nfs，cifs，pvfs等。针对混合型的需求，那就得综合考虑了，可以让io吞吐量高的节点直接访问存储，io低而计算高的节点使用单独io节点。

bbjmmj

原帖由 xiaowen128 于 2009-9-15 13:50 发表
谢谢您的解答，我想我们还是I/O密集型多一些，从各方面收集的资料看，我们也是打算用I/O节点SAN共享的方式搭建，并考虑多个I/O节点并行集群的方式提供共享存储，减少单点的I/O压力。

不过还想问一下，这样的 ...

大概是去年吧，曙光5000A百万亿次计算机搞出来的时候，曙光公司开了个新闻发布会，网上有图片，我注意到它那个机柜，一个大机柜，里面只有5箱刀片，并没有看到什么“光纤盘阵”之类的东西，我觉得曙光公司应该比这里的朋友更专业，曙光的用法应该是比较正规的，所以你的思路可能并没有错，刀片服务器本身是有存储空间的，完全可以跑存储集群，不一定要用什么“光纤存储”。

我前面回帖提到了INFINIBAND，如果没有INFINIBAND，刀片架构无论从可靠性、性能、经济性、运算能力还是计算密度上，恐怕都没办法跟机架集群相比。你那个存储的问题，实际上是怎么用INFINIBAND的问题。

冬瓜头

当bbj知道了ib之后，世界变很大！

bbjmmj

原帖由 冬瓜头 于 2009-9-15 21:21 发表
当bbj知道了ib之后，世界变很大！

嗯，我用大型机的时候，觉得世界很小，知道了IB之后，世界就变得很大了，很奇妙的感觉。

冬瓜头

嗯，看来ib让bbj的世界很大变！

bbjmmj

原帖由 冬瓜头 于 2009-9-15 22:32 发表
嗯，看来ib让bbj的世界很大变！

看了你的回帖呢，我的感觉，你先是打官腔，然后又是调侃试图转移话题。
前些天讨论那个一千万网络配置的时候，我很明确地指出那个二百万一台的什么机架服务器上有四个CPU就够用了，我希望你也能像我那样，拿出一个确切可行的东西而不是似是而非的说法。
我在这个帖子里说，INFINIBAND最适合楼主的应用环境，这个已经没必要再啰嗦了，不如，你找人帮帮忙，给楼主拿出个确切方案出来，你看怎么样？我听说你在一个国际级的很NB很NB的电脑公司工作，我觉得你拿出这种方案应该很容易。

冬瓜头

无趣啊，我是希望bbj先生抬抬杠逗逗乐的，别那么认真。
我现在的确在一个电脑公司修pc，昨天还修过一台接触不良的pc，到处七零八落，螺丝没有，线卡支撑板和卡体竟然没有螺丝，造成接触不良。bbj先生，你们那里是否也有这种现象？

storm the front

原帖由 bbjmmj 于 2009-9-15 21:02 发表


大概是去年吧，曙光5000A百万亿次计算机搞出来的时候，曙光公司开了个新闻发布会，网上有图片，我注意到它那个机柜，一个大机柜，里面只有5箱刀片，并没有看到什么“光纤盘阵”之类的东西，我觉得曙光公司应 ...

你是说DAS吧，不过在很多情况下，相对于SAN,DAS有一定的限制性的

另外，ib的交换机可不是一般的贵

bbjmmj

原帖由 storm the front 于 2009-9-16 10:27 发表


你是说DAS吧，不过在很多情况下，相对于SAN,DAS有一定的限制性的

另外，ib的交换机可不是一般的贵

在那个曙光机柜里面看不到任何“存储”。

用INFINIBAND网络做存储集群，无论可靠性、性能还是经济性都比用FC SAN好得多，基于INFINIBAND的存储集群是目前HPC的主流存储方案。
小用户，INFINIBAND比万兆交换机要便宜不少呢。

bbjmmj

原帖由 冬瓜头 于 2009-9-16 08:41 发表
无趣啊，我是希望bbj先生抬抬杠逗逗乐的，别那么认真。
我现在的确在一个电脑公司修pc，昨天还修过一台接触不良的pc，到处七零八落，螺丝没有，线卡支撑板和卡体竟然没有螺丝，造成接触不良。bbj先生，你们那里 ...

呵呵，我不管修机器，我机器坏了都是别人给修。