请教20万到30万的预算做计算服务器是用机群好还是买一台4or8cpu的服务器好？

nntp

原帖由 soway 于 2006-2-23 08:44 发表


linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.

这点在 ...

soway,你说的情况在Intel 平台上的确如此的，所以我们高性能科学计算的项目，很多用户都选择了AMD64.

希望关注计算的朋友关注AMD64.  从AMD64开始，AMD和Intel的x86平台开始分道扬镳.  AMD公司得到了dec 的技术.

nntp

原帖由 yangpeip 于 2006-2-22 23:15 发表
非常感谢soway和版大的建议

我们的license是学校统一购买的，倒是足够用
soway刚才说的经验我在实际应用中都有深刻体会hehe

不过感觉linux的调度确实不太好，人多的时候有的时候像死机一样
不知道这是操作 ...

linux 的调度，还是linux上的作业调度器?

我有一个项目，需要实时从国家骨干网的对外接口采集数据，网卡程序是特殊的,用户研发部重新编写的. 平台是AMD64 dual core 4way服务器，用的是SLES9 AMD64版本.

常规文件系统已经无法支持吞吐要求，我们每个这样的设备用了32GB内存，内存中开出2个8GB 空间mount 到VFS上给应用作存储. 15分钟后，2个8GB mounted fs全满.然后refresh到一个后台去，重新开始采集. 这个吞吐量大了吧?  我配合客户几乎选择了能够选择所有linux和几个主要的服务器硬件架构，最后选择了上面的那种配置.
CPU在处理过程中一直维持在80%一上的高负荷. 由于采集的数据都是小于30k的极小文件，没有一个fs符合要求，包括我们测试的lustre.常规的就更加不说了.
程序是java+C写的，C部分我们用pathscale 优化编译过.

仅供参考.

还有， 感觉到linux 系统 frozen 这个现象，不能直接推导出linux的调度有问题， 我给客户作 Rsoft Fullwave 科学计算集群的时候，fullwave 的运算设计有一些很特殊的地方，如果计算的空间设置不当的话，也会导致linux compute node死锁.  难道这就可以说linux 调度有问题? 说这个问题，还是要严谨点的，不可以太过于武断.

客观的来说,  2.4的时代，和sun solaris比，的确不能比，但是 2.6以及计算平台向AMD64/EM64T 过渡，现状就不是这样了.

我们还是往前看吧.

yangpeip

原帖由 soway 于 2006-2-23 16:41 发表


说实在话,我挺喜欢LSF的,这个东西做的比较积极.唯一缺点就是价格贵.
所以,我后来没太多机会接触.
他们做的系统,配置感觉非常方便,文档写的也不错.

以后好好研究一下SGE

AMD opteron的机器,最近用了两 ...

AMD和intel的对比我做过一些
跑hspice, 2threads, opteron 246*2比xeon 2.8G*2快了将近1/3
另外一个双核的AMD64 X2 3800+跑同样的，opteron 246*2仍然比之快了1/4
但是用spectre，X2 3800+就和opteron 246*2差不多了

我想可能是hspice内存比较省，opteron的cache比3800+多一倍的优势体现出来了
而spectre占用内存比较，需要频繁和内存交换，瓶颈就在内存上了

yangpeip

原帖由 nntp 于 2006-2-23 11:47 发表



linux 的调度，还是linux上的作业调度器?

我有一个项目，需要实时从国家骨干网的对外接口采集数据，网卡程序是特殊的,用户研发部重新编写的. 平台是AMD64 dual core 4way服务器，用的是SLES9 AMD64版本. ...

hehe，这个只是我们的一个感觉而已，当然不能全盘否定linux
您说的例子，cpu load在80%左右，我们的情况不太一样，
如果是一个双cpu的node，扔一个仿真进程，load就是50%，两个就是100%
这个时候再登陆干别的，感觉就非常卡

而sun在这种情况下虽然慢，但是感觉还是在慢慢的动，linux感觉是等半天不动，然后突然动了一下，然后接着死。。。给人的感觉不是很爽的样子hehe

ljhb

原帖由 soway 于 2006-2-23 08:44 发表


linux里边有一个重要的经验:一个cpu核(这里也可以是intel的超线程,比如一个intel dualcore的cpu,相当于有4个)只能跑一个进程.
如果多了,你的性能会有很大影响,usr占用时间减少,sys占用cpu时间增加.

这点在 ...

lz说的是以前吧，建议你看看O(1)调度再说

ljhb

原帖由 soway 于 2006-2-23 19:32 发表


我跑的是vcs的simv,结论是246比XEON 2.8G慢5%,而DC快30%

intel amd在科学运算上各有长处，有些科学运算软件针对sse3作了优化

yalung

终于看完了讨论，呵呵，，nntp兄，想向你咨询一件事，希望听听你对X-Cat做HPC的看法，请多多赐教，也可以随时加我MSN： wake_young@hotmail.com

nntp

原帖由 yalung 于 2006-3-1 08:19 发表
终于看完了讨论，呵呵，，nntp兄，想向你咨询一件事，希望听听你对X-Cat做HPC的看法，请多多赐教，也可以随时加我MSN： wake_young@hotmail.com

Hello X-cat我不是很熟悉,略有耳闻. 因为我做的项目的限制，目前我做的hpc项目有2类，一类是采用商业的方案，一类是采用opensource的方案，32节点以下的小项目大多采用的是opensource的方案。采用opensource的方案又有2种，一种是用户的应用是homegrown的，所以没有办法用现成的系统，所有的架构都是自己搭的。如果用户跑的是比较标准的科学计算应用，一般我就用ROCKS了.

之前这里有一个朋友谈了点关于对Rocks的看法，我个人的看法是，有时候作技术而不是做项目的人往往容易绝对化一个事情，在我看来，技术没有绝对的好坏之分，去苦苦比较寻找一个\"好的\"技术和系统，比把正确的技术方案用在正确的项目中，要容易得多。而后者往往是决定了用户的最终使用的感觉体验.

hpc的项目做得不算少了，依照我的经验，32节点的常规应用hpc集群，用ROCKS是最佳选择。因为现在hpc 集群扩充的时候，我们有了第二个选择，就是升级计算网，这个是一个国内用户可以考虑的新思路，以往规划的时候，都是考虑以后是否可以扩充节点，但是我认为因地制宜的升级计算网，在现在来看，已经是性价比非常好的选择了. 比如从32node GbE到32node Infiniband(copper)，采用1:4的 block 阻塞，成本非常低廉，但是性能提升特别明显，最关键的是MPI延迟将会从ms级降低到us 级别. 对于一些分布依赖性比较强的应用，比如中尺度天气预报用的MM5，Fluent之类的都有很强的提升作用. 特别是有些研究机构和学校的材料和热分子动力专业，他们的计算不像MM5那样，需要越多结点越快地交换，像Material Studio这种系统，如果你用SGI 的IA64 设备，大概到4节点8cpu的时候，性能曲线就开始平缓下来了，过多的节点扩展根本不会给性能提升带来太多的好处.

说了这么多扩展的问题是，我个人觉得ROCKS面对32 node的小项目是撮撮有余了，另外ROCKS的infiniband Roll和Myrinet Roll都pre-defined得很好. 从我们这些做架构的人来说，可能更多考虑系统上的问题，但是最终用户考虑的是计算，而不是基础架构的问题。所以最小限度的降低工程难度和时间，对双方来说都是很恰当的。我这个都是从工程项目角度考虑的，如果是自己玩玩就另当别论了.

个人意见仅供参考，科学计算博大精深，技术手段不断进步，选择合适自己的才是正道.

HonestQiao

终于看完了，强悍啊。

不知道各位对WWW(含数据库)的集群是否有所涉猎