Chinaunix

标题: 关于HPC集群和hadoop的整合 [打印本页]

作者: qidunhu 时间: 2012-12-02 16:33
标题: 关于HPC集群和hadoop的整合
目前有一套HPC集群，作业调度系统是基于SGE的，现在集群的IO存在瓶颈，（现在的集群共享文件还是传统的HPC集群共享文件方式，也就是通过NFS共享盘阵，实现集群共同读写）想做hadoop或者luster文件系统，但是有一个疑问，就是云计算的高性能计算资源如何去调度？是选择hadoop还是luster文件系统？

作者: blues083 时间: 2012-12-02 22:00
你指的是hadoop里的HDFS吧？但是HDFS的访问延时比较大，不太适合。
还是传统的lustre吧。

作者: qidunhu 时间: 2012-12-03 12:07
回复 2# blues083
嗯，现在的计算网络还是千兆网，不知道大家的都是什么网络，就是集群的调度算法采用的是哪种？

作者: blues083 时间: 2012-12-03 12:29
有点钱，或者集群大于10台，还是infiniband网络吧。

作者: q1208c 时间: 2012-12-04 00:53
我一直觉得hdfs这种东西拿来做存储唯一的优点就是有个备份.

在我知道的 HPC 集群中, 应该都是使用 Lustre 的. 当然, 也有用商用存储的.

我对 SGE 有兴趣, 但说实话, 条件有限, 根本没玩过. Lustre 以前测试过, 大文件性能还不错的. 千兆网络条件下. 小文件差点, 不如单机的性能好.

比如坑爹的是 Oracle 在收购了Sun之后, Lustre就一直没更新过. 而且, 现在 2.0的版本根本没地方下了.

作者: blues083 时间: 2012-12-10 01:01
lustre后来有一个单独的公司来维护了，你可以查查。

http://wiki.whamcloud.com/display/PUB/Lustre+2.3
https://en.wikipedia.org/wiki/Lustre_(file_system)

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)