多台刀片柜组成的并行计算集群，如何搭建后端的SAN存储网络

wyddg

原帖由 xiaowen128 于 2009-9-11 17:36 发表
请教：多台刀片柜组成的并行计算环境，如何搭建后端的SAN存储网络
环境是这样：多个刀片柜组成并行计算集群环境（大概得有50片），以及数十台工作站PC，都要访问后端SAN网络的在线磁盘阵列。

请问这样的架构 ...

先确定你的高性能并行计算的类型：
1、I/O密集型：磁盘I/O频繁，通常有专门的I/O节点
2、计算密集型：计算量很大，磁盘I/O较少，通常计算节点直接访问存储

如果是第一种I/O密集型，当I/O节点很少的情况下，可以直接采用FC SAN作为存储介质；当I/O节点较多的情况，
一般采用StorNext + FC SAN的方式，为I/O节点提供SAN共享服务

如果是第二种计算密集型，通常采用分布式文件系统、集群NAS之类的方式实现，例如lustre、Isilon、Panasas等等，
但是除了lustre是开源的之外，其他的价格非常昂贵

storm the front

楼上正解

其实楼主就是想求一分布式文件系统，来处理多个节点并发访问存储的共享问题。

storm the front

原帖由 bbjmmj 于 2009-9-13 20:37 发表


INFINIBAND就像现在的PCI-E，几年前，还没几个人听说过如此高端的东西，现在它已经走入千家万户，几年后，IB很有可能会成为家用电脑的标准I/O架构。

不说几年后了，说现在，SATA转INFINIBAND线缆，现在就 ...

sata有转ib的接口？

像sas口倒是和ib口长得一模一样

bbjmmj

原帖由 storm the front 于 2009-9-14 11:45 发表


sata有转ib的接口？

像sas口倒是和ib口长得一模一样

哈哈，说实话，我也不清楚谁那么脑残，设计那么多SAS线缆帮大伙烧钱，而且我更搞不懂为什么要把SATA转成INFINIBAND，我只知道一件事：
几年前，有人向我吹牛B，PCI-X有多么多么滴牛，现在呢？PCI-X不仅仅是垃圾，简直就是垃圾中的战斗机了。

我们家电脑网卡从十兆到千兆，不到七年时间网速提高百倍，硬件进步是相当神速的。

klin121628

接入SAN的主机太多，造价会大幅提升。如果允许的话最好还是通过IO结点来做

gesture

原帖由 wyddg 于 2009-9-14 10:37 发表


先确定你的高性能并行计算的类型：
1、I/O密集型：磁盘I/O频繁，通常有专门的I/O节点
2、计算密集型：计算量很大，磁盘I/O较少，通常计算节点直接访问存储

如果是第一种I/O密集型，当I/O节点很少的情况 ...

支持这样的好跟贴！说的中肯

前面的节点比较多，注意后面阵列的‘最大主机数’，如某个低端的产品只有16

straw

先了解你的应用程序吧，是不是俄可以修改的，如果不可以修改 那么，该HPC应用的计算node上是不是要访问数据，如果需要访问的化，该数据是不是只读取，不写入，如果要写入的话，是不是所有的计算节点都要写入，每个计算节点写入的数据多不多.......
把以上问题了解清楚了，那么你的选择也就有了

xiaowen128

谢谢您的解答，我想我们还是I/O密集型多一些，从各方面收集的资料看，我们也是打算用I/O节点SAN共享的方式搭建，并考虑多个I/O节点并行集群的方式提供共享存储，减少单点的I/O压力。

不过还想问一下，这样的I/O节点SAN共享的方式能否与分布式文件系统等计算密集型的解决方式共存？因为在刀片并行集群计算中，会涉及到很多密集的计算，这些运算所需要的数据以及产生的数据也都会依赖于存储网络中的在线阵列，那么如果能使这些并行刀片集群以分布式文件系统的方式访问共享存储，而那些工作站则采取i/o节点的方式访问共享阵列，这样是否能对集群的并行计算访问阵列的性能有一定的提高？从成本考虑是否有必要这样去部署？

wyddg

原帖由 xiaowen128 于 2009-9-15 13:50 发表
谢谢您的解答，我想我们还是I/O密集型多一些，从各方面收集的资料看，我们也是打算用I/O节点SAN共享的方式搭建，并考虑多个I/O节点并行集群的方式提供共享存储，减少单点的I/O压力。

不过还想问一下，这样的 ...

通常高性能计算系统的类型确定后会选择一种适合的共享存储方式，
你具有多种高性能计算类型的需求，应该是科研单位或者高校吧？

针对不同类型的高性能计算采用不同的共享存储架构当然是最好的，但是成本上会有较大压力，而且你的PC Server工作站和刀片集群都是用于高性能计算使用吗？你能够接受针对PC Server工作站和刀片集群维护2套完全不同的存储系统吗？同时你还需要近线存储和离线存储的统一管理，这在2套不同的存储系统上很难实现

如果你一定要上2种共享存储，同时你的刀片集群主要用于计算，辅助的中间过程数据和结果数据对存储的要求不高，你可以采用开源的Lustre（本身还存在一些问题，维护成本较高）或者传统的NAS（需要评估NFS本身的性能和效率是否能满足你的需求）实现，这样成本比较低，但是也存在如何与另外一套共享存储统一管理并加入近线和离线层的问题

按照你的需求市场有比较合适的产品和方案，你可以多了解了解

[ 本帖最后由 wyddg 于 2009-9-15 14:58 编辑 ]

xiaowen128

好的，谢谢您，我想后面我们还是去着重了解一下I/O节点SAN共享方式的搭建吧，呵呵