免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › IT运维 › 集群和高可用 › 关于HPC集群和hadoop的整合

最近访问板块

发新帖

查看: 4336 | 回复: 5

上一主题

下一主题

关于HPC集群和hadoop的整合 [复制链接]

论坛徽章:: 3

天蝎座
日期:2013-12-30 15:59:06

天蝎座
日期:2014-02-27 11:10:40

巨蟹座
日期:2014-04-16 10:19:11

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-12-02 16:33 |只看该作者 |倒序浏览

目前有一套HPC集群，作业调度系统是基于SGE的，现在集群的IO存在瓶颈，（现在的集群共享文件还是传统的HPC集群共享文件方式，也就是通过NFS共享盘阵，实现集群共同读写）想做hadoop或者luster文件系统，但是有一个疑问，就是云计算的高性能计算资源如何去调度？是选择hadoop还是luster文件系统？

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2012-12-02 22:00 |只看该作者

你指的是hadoop里的HDFS吧？但是HDFS的访问延时比较大，不太适合。
还是传统的lustre吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 3

天蝎座
日期:2013-12-30 15:59:06

天蝎座
日期:2014-02-27 11:10:40

巨蟹座
日期:2014-04-16 10:19:11

3楼 [报告]

发表于 2012-12-03 12:07 |只看该作者

回复 2# blues083
嗯，现在的计算网络还是千兆网，不知道大家的都是什么网络，就是集群的调度算法采用的是哪种？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-12-03 12:29 |只看该作者

有点钱，或者集群大于10台，还是infiniband网络吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 33

荣誉会员
日期:2011-11-23 16:44:17

天秤座
日期:2014-08-26 16:18:20

天秤座
日期:2014-08-29 10:12:18

丑牛
日期:2014-08-29 16:06:45

丑牛
日期:2014-09-03 10:28:58

射手座
日期:2014-09-03 16:01:17

寅虎
日期:2014-09-11 14:24:21

天蝎座
日期:2014-09-17 08:33:55

IT运维版块每日发帖之星
日期:2016-04-17 06:23:27

操作系统版块每日发帖之星
日期:2016-04-18 06:20:00

IT运维版块每日发帖之星
日期:2016-04-24 06:20:00

15-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59

5楼 [报告]

发表于 2012-12-04 00:53 |只看该作者

我一直觉得hdfs这种东西拿来做存储唯一的优点就是有个备份.

在我知道的 HPC 集群中, 应该都是使用 Lustre 的. 当然, 也有用商用存储的.

我对 SGE 有兴趣, 但说实话, 条件有限, 根本没玩过. Lustre 以前测试过, 大文件性能还不错的. 千兆网络条件下. 小文件差点, 不如单机的性能好.

比如坑爹的是 Oracle 在收购了Sun之后, Lustre就一直没更新过. 而且, 现在 2.0的版本根本没地方下了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-12-10 01:01 |只看该作者

lustre后来有一个单独的公司来维护了，你可以查查。

http://wiki.whamcloud.com/display/PUB/Lustre+2.3
https://en.wikipedia.org/wiki/Lustre_(file_system)

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › IT运维 › 集群和高可用 › 关于HPC集群和hadoop的整合

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP