免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2707 | 回复: 4

[Lustre] 天河二号超算中心的服务环境 [复制链接]

论坛徽章:
3
操作系统版块每日发帖之星
日期:2016-02-23 06:20:00操作系统版块每日发帖之星
日期:2016-03-12 06:20:00IT运维版块每日发帖之星
日期:2016-03-14 06:20:00
发表于 2016-03-09 15:02 |显示全部楼层
本帖最后由 猴马大叶 于 2016-03-11 02:24 编辑

目前只知道这些~

一、操作系统
计算节点使用的操作系统是Red Hat Enterprise Linux Server release 6.2 (Santiago)

ftp://archive.download.redhat.co ... redhat-6.2-i386.iso

这个怎么才633Mb

二、文件系统
Lustre分布式文件系统
Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。它是一个开源、基于对象存储技术的集群并进行文件系统,具有很高的可扩展性、可用性、可靠性和易用性等,在高性能计算机系统中被广泛使用,可支持多大10000个节点,PB级别的存储量,100GB/S的传输速度,同时具有完美的安全性和可管理性。

官方网站:  https://lustre.org/
  1. https://downloads.hpdd.intel.com/public/lustre/latest-maintenance-release/el6/client/RPMS/x86_64/lustre-client-2.5.3-2.6.32_431.23.3.el6.x86_64.x86_64.rpm
  2. https://downloads.hpdd.intel.com/public/lustre/latest-maintenance-release/el6/server/RPMS/x86_64/kernel-2.6.32-431.23.3.el6_lustre.x86_64.rpm
  3. https://downloads.hpdd.intel.com/public/lustre/latest-maintenance-release/el6/server/RPMS/x86_64/kernel-headers-2.6.32-431.23.3.el6_lustre.x86_64.rpm
  4. https://downloads.hpdd.intel.com/public/lustre/latest-maintenance-release/el6/server/RPMS/x86_64/lustre-2.5.3-2.6.32_431.23.3.el6_lustre.x86_64.x86_64.rpm
  5. https://downloads.hpdd.intel.com/public/lustre/latest-maintenance-release/el6/server/RPMS/x86_64/perf-2.6.32-431.23.3.el6_lustre.x86_64.rpm
复制代码
使用手册地址
https://build.hpdd.intel.com/job ... lustre_manual.xhtml
https://downloads.hpdd.intel.com/public/lustre/

三、作业调度系统
SLURM作业调度系统
SLURM (A Highly Scalable Resource Manager)是 “具备高可伸缩性的资源管理程序”。它是一种为所有规模的 Linux 集群设计的开放源码资源管理程序,提供三种关键功能 —— 分配对资源的排他和/或非排他访问;提供一个用于在分配的节点集上启动、执行和监视工作的框架;通过管理一个未完成工作队列来解决对资源的争用。

3.1用 SLURM 优化超级计算机内的资源管理
http://www.ibm.com/developerworks/cn/linux/l-slurm-utility/

3.2  软件下载
SLURM source can be downloaded from http://www.schedmd.com/#repos
SLURM has also been packaged for Debian and Ubuntu (both named slurm-llnl).

3.3 用户手册

http://www.schedmd.com/slurmdocs/slurm.html

四、计算节点
每节点2*12核(Xeon E5-2692V2)+64G内存

论坛徽章:
3
操作系统版块每日发帖之星
日期:2016-02-23 06:20:00操作系统版块每日发帖之星
日期:2016-03-12 06:20:00IT运维版块每日发帖之星
日期:2016-03-14 06:20:00
发表于 2016-03-11 02:04 |显示全部楼层
Lustre的主要三种版本

Lustre Release Schedule
Lustre feature releases follow a release train model, with feature releases targeted every six months. Maintenance releases are targeted every three months on the current maintenance branch.  Maintenance releases for older maintenance branches are on an as-needed basis.


Lustre Maintenance Releases
The HPDD team at Intel invests a huge amount of time and resources into ensuring that every release is of high quality. However, we recognize that many Lustre users would rather run a release that is well-proven in production, and will be supported over a longer time, even if it means foregoing some of the newer features. To meet the needs of these customers, Intel designates a certain release to be its long-term maintenance release stream and produces regular bugfix-only updates for this release stream. These releases are what the majority of Intel's customers choose to run in production. You can find out more detailed information in the  Lustre 2.5 Changelog.

Download the latest maintenance release here: http://downloads.whamcloud.com/p ... aintenance-release/


Lustre Feature Releases
Intel and the Lustre community are continually developing new features required by future versions of Lustre. Users who want to use these capabilities can access them first in feature releases. Feature releases will also contain all the latest bug fixes from previous releases. Periodically, one of the new feature releases will be designated the new long-term maintenance release stream, though not every feature release will have an associated long-term maintenance release stream. You can find out more detailed information in the Lustre 2.6 Changelog.

Download the latest feature release here: http://downloads.whamcloud.com/p ... st-feature-release/

论坛徽章:
3
操作系统版块每日发帖之星
日期:2016-02-23 06:20:00操作系统版块每日发帖之星
日期:2016-03-12 06:20:00IT运维版块每日发帖之星
日期:2016-03-14 06:20:00
发表于 2016-03-11 02:43 |显示全部楼层
高性能计算资源管理系统--slurm使用案例   99页的百度文库pdf
  1. http://wenku.baidu.com/link?url=ib55RXbIE78Vex6vDcBu8Hxz1351_IlZdmbCrQTTPgjKopm-aEjebLRuoMrXkl1zDQ7wKXuc9dgCP-yqvvkDj6-OWOEL-zoHgaQ2UAMxmRG&pn=51
复制代码
Linux 并行计算环境使用.pdf65页
  1. http://max.book118.com/html/2015/0329/13935356.shtm
复制代码

论坛徽章:
3
操作系统版块每日发帖之星
日期:2016-02-23 06:20:00操作系统版块每日发帖之星
日期:2016-03-12 06:20:00IT运维版块每日发帖之星
日期:2016-03-14 06:20:00
发表于 2016-03-11 03:20 |显示全部楼层
SLURM 安装与配置
  1. http://blog.csdn.net/kongxx/article/details/48173829
复制代码

论坛徽章:
9
程序设计版块每日发帖之星
日期:2015-10-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-01 06:20:00程序设计版块每日发帖之星
日期:2015-11-02 06:20:00每日论坛发贴之星
日期:2015-11-02 06:20:00程序设计版块每日发帖之星
日期:2015-11-03 06:20:00程序设计版块每日发帖之星
日期:2015-11-04 06:20:00程序设计版块每日发帖之星
日期:2015-11-06 06:20:00数据库技术版块每周发帖之星
日期:2015-12-02 15:02:47数据库技术版块每日发帖之星
日期:2015-12-08 06:20:00
发表于 2016-04-26 02:40 |显示全部楼层
ok 学习了...
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP