请教20万到30万的预算做计算服务器是用机群好还是买一台4or8cpu的服务器好？

yalung

终于看完了讨论，呵呵，，nntp兄，想向你咨询一件事，希望听听你对X-Cat做HPC的看法，请多多赐教，也可以随时加我MSN： wake_young@hotmail.com

nntp

原帖由 yalung 于 2006-3-1 08:19 发表
终于看完了讨论，呵呵，，nntp兄，想向你咨询一件事，希望听听你对X-Cat做HPC的看法，请多多赐教，也可以随时加我MSN： wake_young@hotmail.com

Hello X-cat我不是很熟悉,略有耳闻. 因为我做的项目的限制，目前我做的hpc项目有2类，一类是采用商业的方案，一类是采用opensource的方案，32节点以下的小项目大多采用的是opensource的方案。采用opensource的方案又有2种，一种是用户的应用是homegrown的，所以没有办法用现成的系统，所有的架构都是自己搭的。如果用户跑的是比较标准的科学计算应用，一般我就用ROCKS了.

之前这里有一个朋友谈了点关于对Rocks的看法，我个人的看法是，有时候作技术而不是做项目的人往往容易绝对化一个事情，在我看来，技术没有绝对的好坏之分，去苦苦比较寻找一个"好的"技术和系统，比把正确的技术方案用在正确的项目中，要容易得多。而后者往往是决定了用户的最终使用的感觉体验.

hpc的项目做得不算少了，依照我的经验，32节点的常规应用hpc集群，用ROCKS是最佳选择。因为现在hpc 集群扩充的时候，我们有了第二个选择，就是升级计算网，这个是一个国内用户可以考虑的新思路，以往规划的时候，都是考虑以后是否可以扩充节点，但是我认为因地制宜的升级计算网，在现在来看，已经是性价比非常好的选择了. 比如从32node GbE到32node Infiniband(copper)，采用1:4的 block 阻塞，成本非常低廉，但是性能提升特别明显，最关键的是MPI延迟将会从ms级降低到us 级别. 对于一些分布依赖性比较强的应用，比如中尺度天气预报用的MM5，Fluent之类的都有很强的提升作用. 特别是有些研究机构和学校的材料和热分子动力专业，他们的计算不像MM5那样，需要越多结点越快地交换，像Material Studio这种系统，如果你用SGI 的IA64 设备，大概到4节点8cpu的时候，性能曲线就开始平缓下来了，过多的节点扩展根本不会给性能提升带来太多的好处.

说了这么多扩展的问题是，我个人觉得ROCKS面对32 node的小项目是撮撮有余了，另外ROCKS的infiniband Roll和Myrinet Roll都pre-defined得很好. 从我们这些做架构的人来说，可能更多考虑系统上的问题，但是最终用户考虑的是计算，而不是基础架构的问题。所以最小限度的降低工程难度和时间，对双方来说都是很恰当的。我这个都是从工程项目角度考虑的，如果是自己玩玩就另当别论了.

个人意见仅供参考，科学计算博大精深，技术手段不断进步，选择合适自己的才是正道.

HonestQiao

终于看完了，强悍啊。

不知道各位对WWW(含数据库)的集群是否有所涉猎

tomduanj

原帖由 HonestQiao 于 2006-3-9 00:29 发表
终于看完了，强悍啊。

不知道各位对WWW(含数据库)的集群是否有所涉猎

完全是不同的目的,www的集群追求的是HA,保证可靠就性了,这里讨论的是高性能计算的问题,追求提供一个尽可能高的计算能力.
最近我要开始维护一个34节点的集群系统,采用centos+rocks,以后有问题要向大家多请教了

nntp

原帖由 tomduanj 于 2006-4-12 14:07 发表


完全是不同的目的,www的集群追求的是HA,保证可靠就性了,这里讨论的是高性能计算的问题,追求提供一个尽可能高的计算能力.
最近我要开始维护一个34节点的集群系统,采用centos+rocks,以后有问题要向大家多请教了

跑什么?

tomduanj

原帖由 nntp 于 2006-4-13 01:47 发表



跑什么?

做计算,目前主要给学校教学环境提供联系使用,接手顺利后,可望提供本地气象计算
偶的MSNJ@HISYS.COM.CN,请多指教

nntp

原帖由 tomduanj 于 2006-4-13 10:40 发表


做计算,目前主要给学校教学环境提供联系使用,接手顺利后,可望提供本地气象计算
偶的MSNJ@HISYS.COM.CN,请多指教

:")

这些node 跑mm5 你的计算地理被迫会很大 :")))))

tomduanj

34台机器,共68颗Xeon 3G CPU.

Paulshen

我们这里有2000亿次得集群，linux系统，运算网络连接正是最快得Infiniband，不过可能会适当收费，但是远远低于30万。有意可以mail我shenyl@mail.gspcc.com

sigmax

"对于一些分布依赖性比较强的应用，比如中尺度天气预报用的MM5，Fluent之类的都有很强的提升作用. 特别是有些研究机构和学校的材料和热分子动力专业，他们的计算不像MM5那样，需要越多结点越快地交换，像Material Studio这种系统，如果你用SGI 的IA64 设备，大概到4节点8cpu的时候，性能曲线就开始平缓下来了，过多的节点扩展根本不会给性能提升."

nntp学长，

你这段话非常有益。
不过，请再略加讨论。

1。我们现在正在用Materials Studio和Cerius2两个，发现对于单机工作站而言，有些计算的确太耗机时，通常是不停机算一周（SGI 或AMD3200+，2G内存）。MS系统本身有linux版本，可以多处理器运算，我们也有24个Xeon 3.0G组成的GBE集群。
   按你所说，那我们将MS迁移到8cpus是应该做的。而从32node GbE到32node Infiniband(copper)估计会有多大的提升？
2。虽然高性能科学计算的市场远小于商用计算，但从大学教育而言，从科学计算上促进linux的普及是更有效的，毕竟使用linux平台上的专业软件的人对于中文和图形界面的要求不是非常苛刻，有更好，没有也可以忍受。只有在大学里有一定的普及面，这样毕业生（非计算机专业）才能工作后接受linux。
3。国内需要对一些主要的工程软件的应用进行一些计算应用对比。现在的大型专业软件的购买费用远大于硬件，如何充分发挥软件作用是非计算技术的软件应用人员最关心的。
4。我看见一篇文章，说缺乏开源的中文linux字库，因此妨碍了中文linux 的普及。请问真实情况是这样吗？