忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: heart_eternal

花了很久搞SGE集群,现将文档详细地整理出来,希望对大家有帮助 [复制链接]

论坛徽章:
0
发表于 2011-08-26 18:06 |显示全部楼层
回复  heart_eternal


    楼主,最近我也想搞sge,多多指教!
   之前是安装过测试环境了,就是不知 ...
caixicheng 发表于 2011-08-26 16:56



    还有,我想:SGE本身也就是个作业调度系统吧,能将某个任务分配给集群系统中空闲的核。
    但是,对某个作业而言,仍然是串行的。
    SGE本身办不到并行计算啊
    好像,并行计算需要mpich,还要写专门的并行计算程序
    SGE只能算是作业的并行调度,是作业级的,办不到并行计算

    以上是个人理解,如果不对,欢迎指正啊

    你说的eda,我就不太清楚那是什么

论坛徽章:
0
发表于 2011-08-26 23:19 |显示全部楼层
恩,我知道了,之前就试过,好像还要软件支持才行

eda是ic方面的软件

论坛徽章:
3
CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
发表于 2011-08-28 10:28 |显示全部楼层
回复 1# heart_eternal


    好东西,虽然还没有做过这样的项目,估计以后也会有用。

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
发表于 2011-08-28 21:27 |显示全部楼层
本帖最后由 yjs_sh 于 2011-08-28 21:29 编辑

sge安装完成后,一般都没有配置并行运行环境。如果要用SGE管理并行应用,需要先配置并行环境,在$SGE/mpi目录下有2个模板,按照模板添加并行环境,然后将这个并行环境和队列关联。这样配置后基本就可以进行并行应用的作业提交了。
一般并行作业都是通过mpi来运行的,可以通过如下命令提交并行作业
qsub -pe mpi 8 job
mpi为并行环境的名字,8为需要的CPU数量,job为运行程序的脚本。
qsub在提交作业的时候会自动在集群中查找合适的机器,并将主机名、CPU数量等一些信息存在内置的变量PE_HOSTFILE文件中。可以对这个变量进行格式变换传给应用程序。
PE_HOSTFILE文件示例:
compute-00   4        all.q@compute-00      UNDEFINED
compute-01   4        all.q@compute-01      UNDEFINED

论坛徽章:
0
发表于 2011-08-29 11:39 |显示全部楼层
回复 14# yjs_sh


    很牛啊
   
  请问qsub这个是怎么运行的?
  我有一个疑问,运行qlogin sge会根据负载选择登陆的工作站,那我就要在所有工作站新建这个用户的主目录,或是用nfs解决这个问题
  qsub它是怎么做到的,还是说不用考虑这个问题?

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
发表于 2011-08-29 21:35 |显示全部楼层
在SGE里主机分为集中类型:管理主机,提交主机、计算主机
用户只要登录提交主机提交作业即可,具体在哪台计算节点上运行,由SGE自动确定。一般管理主机和提交主机都在同一个节点上。
如果要做并行计算,用户的home目录必须一样,并且用户在所有节点上都一致。
home目录可以通过nfs共享或其他文件系统,比如:GFS、GPFS、Lustre来实现,账户可以通过NIS或LDAP集中管理,不用在每台计算节点上建立用户。

论坛徽章:
0
发表于 2011-08-30 15:01 |显示全部楼层
刚出炉的,结合实际操作的,学习了

论坛徽章:
0
发表于 2011-08-31 17:50 |显示全部楼层
收藏了 以后请教楼主,,,

论坛徽章:
0
发表于 2011-09-10 21:03 |显示全部楼层
不错的东西 正计划研究一下

论坛徽章:
0
发表于 2011-09-12 10:59 |显示全部楼层
SGE跟分布式的文件系统有什么区别吗?
例如使用了moosefs,还需要使用到SGE?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP