免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: heart_eternal
打印 上一主题 下一主题

花了很久搞SGE集群,现将文档详细地整理出来,希望对大家有帮助 [复制链接]

论坛徽章:
0
11 [报告]
发表于 2011-08-26 18:06 |只看该作者
回复  heart_eternal


    楼主,最近我也想搞sge,多多指教!
   之前是安装过测试环境了,就是不知 ...
caixicheng 发表于 2011-08-26 16:56



    还有,我想:SGE本身也就是个作业调度系统吧,能将某个任务分配给集群系统中空闲的核。
    但是,对某个作业而言,仍然是串行的。
    SGE本身办不到并行计算啊
    好像,并行计算需要mpich,还要写专门的并行计算程序
    SGE只能算是作业的并行调度,是作业级的,办不到并行计算

    以上是个人理解,如果不对,欢迎指正啊

    你说的eda,我就不太清楚那是什么

论坛徽章:
0
12 [报告]
发表于 2011-08-26 23:19 |只看该作者
恩,我知道了,之前就试过,好像还要软件支持才行

eda是ic方面的软件

论坛徽章:
3
CU大牛徽章
日期:2013-05-20 10:43:41CU大牛徽章
日期:2013-05-20 10:44:06CU大牛徽章
日期:2013-05-20 10:44:16
13 [报告]
发表于 2011-08-28 10:28 |只看该作者
回复 1# heart_eternal


    好东西,虽然还没有做过这样的项目,估计以后也会有用。

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
14 [报告]
发表于 2011-08-28 21:27 |只看该作者
本帖最后由 yjs_sh 于 2011-08-28 21:29 编辑

sge安装完成后,一般都没有配置并行运行环境。如果要用SGE管理并行应用,需要先配置并行环境,在$SGE/mpi目录下有2个模板,按照模板添加并行环境,然后将这个并行环境和队列关联。这样配置后基本就可以进行并行应用的作业提交了。
一般并行作业都是通过mpi来运行的,可以通过如下命令提交并行作业
qsub -pe mpi 8 job
mpi为并行环境的名字,8为需要的CPU数量,job为运行程序的脚本。
qsub在提交作业的时候会自动在集群中查找合适的机器,并将主机名、CPU数量等一些信息存在内置的变量PE_HOSTFILE文件中。可以对这个变量进行格式变换传给应用程序。
PE_HOSTFILE文件示例:
compute-00   4        all.q@compute-00      UNDEFINED
compute-01   4        all.q@compute-01      UNDEFINED

论坛徽章:
0
15 [报告]
发表于 2011-08-29 11:39 |只看该作者
回复 14# yjs_sh


    很牛啊
   
  请问qsub这个是怎么运行的?
  我有一个疑问,运行qlogin sge会根据负载选择登陆的工作站,那我就要在所有工作站新建这个用户的主目录,或是用nfs解决这个问题
  qsub它是怎么做到的,还是说不用考虑这个问题?

论坛徽章:
1
IT运维版块每日发帖之星
日期:2015-07-05 22:20:00
16 [报告]
发表于 2011-08-29 21:35 |只看该作者
在SGE里主机分为集中类型:管理主机,提交主机、计算主机
用户只要登录提交主机提交作业即可,具体在哪台计算节点上运行,由SGE自动确定。一般管理主机和提交主机都在同一个节点上。
如果要做并行计算,用户的home目录必须一样,并且用户在所有节点上都一致。
home目录可以通过nfs共享或其他文件系统,比如:GFS、GPFS、Lustre来实现,账户可以通过NIS或LDAP集中管理,不用在每台计算节点上建立用户。

论坛徽章:
0
17 [报告]
发表于 2011-08-30 15:01 |只看该作者
刚出炉的,结合实际操作的,学习了

论坛徽章:
0
18 [报告]
发表于 2011-08-31 17:50 |只看该作者
收藏了 以后请教楼主,,,

论坛徽章:
0
19 [报告]
发表于 2011-09-10 21:03 |只看该作者
不错的东西 正计划研究一下

论坛徽章:
0
20 [报告]
发表于 2011-09-12 10:59 |只看该作者
SGE跟分布式的文件系统有什么区别吗?
例如使用了moosefs,还需要使用到SGE?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP