免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: yangpeip

请教20万到30万的预算做计算服务器是用机群好还是买一台4or8cpu的服务器好? [复制链接]

论坛徽章:
0
发表于 2006-02-23 11:32 |显示全部楼层
原帖由 soway 于 2006-2-23 08:44 发表


linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.

这点在 ...



soway,你说的情况在Intel 平台上的确如此的,所以我们高性能科学计算的项目,很多用户都选择了AMD64.

希望关注计算的朋友关注AMD64.  从AMD64开始,AMD和Intel的x86平台开始分道扬镳.  AMD公司得到了dec 的技术.

论坛徽章:
0
发表于 2006-02-23 11:35 |显示全部楼层
原帖由 soway 于 2006-2-23 08:38 发表


版主你好,
说实际话,我没动手安装过SGE.
这点我必须承认,说他复杂是因为我将SGE的文档,全部都看了一遍.

里边提出了大量的概念,并且很多东西都是在一个JAVA图形界面下做.
好像没提到文本方式修改配置,这 ...



soway, SGE的document 你要是安装的话,只要看一个installation就可以了,很简单的.

那个图形界面我从来不用的. 不用去理会他.

AMD64的dual core性能,在几个主要的科学计算的站点都有大量的引用,benchmark的结果很多,  我不知道你关注编译器与否,你可以去pathscale的站点, PGI站点看看. 有很多结果.

我的实测结果都是在客户那里做的,数据没有办法贴出来.

论坛徽章:
0
发表于 2006-02-23 11:47 |显示全部楼层
原帖由 yangpeip 于 2006-2-22 23:15 发表
非常感谢soway和版大的建议

我们的license是学校统一购买的,倒是足够用
soway刚才说的经验我在实际应用中都有深刻体会hehe

不过感觉linux的调度确实不太好,人多的时候有的时候像死机一样
不知道这是操作 ...



linux 的调度,还是linux上的作业调度器?

我有一个项目,需要实时从国家骨干网的对外接口采集数据,网卡程序是特殊的,用户研发部重新编写的. 平台是AMD64 dual core 4way服务器,用的是SLES9 AMD64版本.

常规文件系统已经无法支持吞吐要求,我们每个这样的设备用了32GB内存,内存中开出2个8GB 空间mount 到VFS上给应用作存储. 15分钟后,2个8GB mounted fs全满.然后refresh到一个后台去,重新开始采集. 这个吞吐量大了吧?  我配合客户几乎选择了能够选择所有linux和几个主要的服务器硬件架构,最后选择了上面的那种配置.
CPU在处理过程中一直维持在80%一上的高负荷. 由于采集的数据都是小于30k的极小文件,没有一个fs符合要求,包括我们测试的lustre.常规的就更加不说了.
程序是java+C写的,C部分我们用pathscale 优化编译过.

仅供参考.

还有, 感觉到linux 系统 frozen 这个现象,不能直接推导出linux的调度有问题, 我给客户作 Rsoft Fullwave 科学计算集群的时候,fullwave 的运算设计有一些很特殊的地方,如果计算的空间设置不当的话,也会导致linux compute node死锁.  难道这就可以说linux 调度有问题? 说这个问题,还是要严谨点的,不可以太过于武断.

客观的来说,  2.4的时代,和sun solaris比,的确不能比,但是 2.6以及计算平台向AMD64/EM64T 过渡,现状就不是这样了.

我们还是往前看吧.

论坛徽章:
0
发表于 2006-02-23 16:41 |显示全部楼层
原帖由 nntp 于 2006-2-23 11:35 发表



soway, SGE的document 你要是安装的话,只要看一个installation就可以了,很简单的.

那个图形界面我从来不用的. 不用去理会他.

AMD64的dual core性能,在几个主要的科学计算的站点都有大量的引用,be ...


说实在话,我挺喜欢LSF的,这个东西做的比较积极.唯一缺点就是价格贵.
所以,我后来没太多机会接触.
他们做的系统,配置感觉非常方便,文档写的也不错.

以后好好研究一下SGE

AMD opteron的机器,最近用了两台1U的.感觉还不错.
不过挺奇怪是跑一个simulation(64位系统跑32bit应用),性能比XEON对比的差点儿.
而跑另外一个,性能确高了30%.

呵呵,以后准备全部用AMD的opteron了.双核也想找机会测试一下.

论坛徽章:
0
发表于 2006-02-23 18:51 |显示全部楼层
原帖由 soway 于 2006-2-23 16:41 发表


说实在话,我挺喜欢LSF的,这个东西做的比较积极.唯一缺点就是价格贵.
所以,我后来没太多机会接触.
他们做的系统,配置感觉非常方便,文档写的也不错.

以后好好研究一下SGE

AMD opteron的机器,最近用了两 ...


AMD和intel的对比我做过一些
跑hspice, 2threads, opteron 246*2比xeon 2.8G*2快了将近1/3
另外一个双核的AMD64 X2 3800+跑同样的,opteron 246*2仍然比之快了1/4
但是用spectre,X2 3800+就和opteron 246*2差不多了

我想可能是hspice内存比较省,opteron的cache比3800+多一倍的优势体现出来了
而spectre占用内存比较,需要频繁和内存交换,瓶颈就在内存上了

论坛徽章:
0
发表于 2006-02-23 18:56 |显示全部楼层
原帖由 nntp 于 2006-2-23 11:47 发表



linux 的调度,还是linux上的作业调度器?

我有一个项目,需要实时从国家骨干网的对外接口采集数据,网卡程序是特殊的,用户研发部重新编写的. 平台是AMD64 dual core 4way服务器,用的是SLES9 AMD64版本. ...

hehe,这个只是我们的一个感觉而已,当然不能全盘否定linux
您说的例子,cpu load在80%左右,我们的情况不太一样,
如果是一个双cpu的node,扔一个仿真进程,load就是50%,两个就是100%
这个时候再登陆干别的,感觉就非常卡

而sun在这种情况下虽然慢,但是感觉还是在慢慢的动,linux感觉是等半天不动,然后突然动了一下,然后接着死。。。给人的感觉不是很爽的样子hehe

论坛徽章:
0
发表于 2006-02-23 19:32 |显示全部楼层
原帖由 yangpeip 于 2006-2-23 18:51 发表


AMD和intel的对比我做过一些
跑hspice, 2threads, opteron 246*2比xeon 2.8G*2快了将近1/3
另外一个双核的AMD64 X2 3800+跑同样的,opteron 246*2仍然比之快了1/4
但是用spectre,X2 3800+就和opteron 246 ...


我跑的是vcs的simv,结论是246比XEON 2.8G慢5%,而DC快30%

论坛徽章:
0
发表于 2006-02-23 19:54 |显示全部楼层
原帖由 soway 于 2006-2-23 08:44 发表


linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.

这点在 ...


lz说的是以前吧,建议你看看O(1)调度再说

论坛徽章:
0
发表于 2006-02-24 10:02 |显示全部楼层
頂一下

论坛徽章:
0
发表于 2006-02-25 00:48 |显示全部楼层
原帖由 soway 于 2006-2-23 19:32 发表


我跑的是vcs的simv,结论是246比XEON 2.8G慢5%,而DC快30%



intel amd在科学运算上各有长处,有些科学运算软件针对sse3作了优化
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP