忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: heart_eternal

花了很久搞SGE集群,现将文档详细地整理出来,希望对大家有帮助 [复制链接]

论坛徽章:
0
发表于 2011-08-26 18:06 |显示全部楼层
回复  heart_eternal


    楼主,最近我也想搞sge,多多指教!
   之前是安装过测试环境了,就是不知 ...
caixicheng 发表于 2011-08-26 16:56



    还有,我想:SGE本身也就是个作业调度系统吧,能将某个任务分配给集群系统中空闲的核。
    但是,对某个作业而言,仍然是串行的。
    SGE本身办不到并行计算啊
    好像,并行计算需要mpich,还要写专门的并行计算程序
    SGE只能算是作业的并行调度,是作业级的,办不到并行计算

    以上是个人理解,如果不对,欢迎指正啊

    你说的eda,我就不太清楚那是什么

论坛徽章:
0
发表于 2011-08-26 23:19 |显示全部楼层
恩,我知道了,之前就试过,好像还要软件支持才行

eda是ic方面的软件

论坛徽章:
3
CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
发表于 2011-08-28 10:28 |显示全部楼层
回复 1# heart_eternal


    好东西,虽然还没有做过这样的项目,估计以后也会有用。

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
发表于 2011-08-28 21:27 |显示全部楼层
本帖最后由 yjs_sh 于 2011-08-28 21:29 编辑

sge安装完成后,一般都没有配置并行运行环境。如果要用SGE管理并行应用,需要先配置并行环境,在$SGE/mpi目录下有2个模板,按照模板添加并行环境,然后将这个并行环境和队列关联。这样配置后基本就可以进行并行应用的作业提交了。
一般并行作业都是通过mpi来运行的,可以通过如下命令提交并行作业
qsub -pe mpi 8 job
mpi为并行环境的名字,8为需要的CPU数量,job为运行程序的脚本。
qsub在提交作业的时候会自动在集群中查找合适的机器,并将主机名、CPU数量等一些信息存在内置的变量PE_HOSTFILE文件中。可以对这个变量进行格式变换传给应用程序。
PE_HOSTFILE文件示例:
compute-00   4        all.q@compute-00      UNDEFINED
compute-01   4        all.q@compute-01      UNDEFINED

论坛徽章:
0
发表于 2011-08-29 11:39 |显示全部楼层
回复 14# yjs_sh


    很牛啊
   
  请问qsub这个是怎么运行的?
  我有一个疑问,运行qlogin sge会根据负载选择登陆的工作站,那我就要在所有工作站新建这个用户的主目录,或是用nfs解决这个问题
  qsub它是怎么做到的,还是说不用考虑这个问题?

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
发表于 2011-08-29 21:35 |显示全部楼层
在SGE里主机分为集中类型:管理主机,提交主机、计算主机
用户只要登录提交主机提交作业即可,具体在哪台计算节点上运行,由SGE自动确定。一般管理主机和提交主机都在同一个节点上。
如果要做并行计算,用户的home目录必须一样,并且用户在所有节点上都一致。
home目录可以通过nfs共享或其他文件系统,比如:GFS、GPFS、Lustre来实现,账户可以通过NIS或LDAP集中管理,不用在每台计算节点上建立用户。

论坛徽章:
0
发表于 2011-08-30 15:01 |显示全部楼层
刚出炉的,结合实际操作的,学习了

论坛徽章:
0
发表于 2011-08-31 17:50 |显示全部楼层
收藏了 以后请教楼主,,,

论坛徽章:
0
发表于 2011-09-10 21:03 |显示全部楼层
不错的东西 正计划研究一下

论坛徽章:
0
发表于 2011-09-12 10:59 |显示全部楼层
SGE跟分布式的文件系统有什么区别吗?
例如使用了moosefs,还需要使用到SGE?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP