Chinaunix

标题: 网格和集群有哪些相同和不同？ [打印本页]

作者: arbor 时间: 2006-04-27 15:49
标题: 网格和集群有哪些相同和不同？
网格和集群有哪些相同和不同？

他们的应用范围？领域？目的？对硬件要求等方面的

作者: bluejack 时间: 2006-04-27 16:00
最近要搞集群我也在开始收集集群方面的资料！

作者: jebtang 时间: 2006-04-27 23:20
标题: 回复 1楼 arbor 的帖子
你还是从分布式系统和集群开始吧。
网格的底层可以是集群实现的，他们不算同一个level的东西。

作者: nntp 时间: 2006-04-28 00:16

原帖由 arbor 于 2006-4-27 15:49 发表
网格和集群有哪些相同和不同？

他们的应用范围？领域？目的？对硬件要求等方面的

SETI

作者: alex_linux 时间: 2006-04-29 23:56
等待高人来个详细讲解

作者: nntp 时间: 2006-04-30 02:27
等吧，很快连馅饼都要掉下来了.

作者: 喜爱SuSE的boy 时间: 2006-05-04 10:57
高手一般不屑这样的问题，我试着解释一下。

我的观点是：网格计算的概念是那批搞计算机的专业人员用来向国家，比如说向国务院总理申请研究经费的，即现在还处于研究阶段，而集群早就实用了。坛上高手慢点扔砖头，看清前提，网格计算。本人只懂数值计算，不是做计算机的。而且认为，这类用作大规模计算的概念，主要是指科学数值计算（我把模拟，复杂的图象显示等都归到这一类）。

这里需要先了解并行计算的概念。一个大规模数值计算的任务是非常复杂的，计算机和网络发展到一定程度后，就提出了并行计算的概念。就是让很多台计算机分别计算，然后把它们各自计算的结果汇总，得到最后结果。这样的话，同样的计算工作量就由很多台计算机分别承担了。这是并行计算的概念。这显然要有一个前提也是关键，就是计算任务可以拆开，分别独立计算，然后再合并。当然，这里的意思并非整个统统拆开，在整个过程中，可以拆开计算，汇总，再拆开计算，再汇总，...。当然这里有个分拆的效率问题。

并行计算在理论上至少可以有两种主要的途径实现：

1、通俗地说，众多同样类型的、速度相同、做专门用途的、用高速网络连接在一起的计算机——这就是集群。或者说，最初的集群就是这样设计的。

对于集群，并行化编程相对来说比较简单，现在有标准化的语言，比如MPI，就是调用一个个通讯过程（函数），而这又不比调用比如说sin和cos函数困难多少。所以并行计算设计主要是分拆计算任务。可以分拆的部分是独立计算的，就是通常所说的串行计算，符合人们思维习惯。它的特点是不同的集群上非常容易移植，即只要集群支持比如MPI，就可以移植。

2、通俗地说，就是所有可利用的在internet网上闲置的，甚至可以运行在不同的操作系统下的计算机都可以用做网格计算。

看上去很美妙，但我认为，最大问题就是面对众多不同类型、不同速度的、时不时会下线、上线的计算机，如何并行分配计算任务？如果是一个复杂的计算，源程序通常就有几十、几百万行，这样的程序做并行计算，可能移植所花费的时间比计算更多。还有一个问题，假定针对某一网格实现了，但是如何移植，即面对另一种网格，如何改写程序？这显然不是应该由人做的事情，而是应该由计算机加软件来完成。如果存在，通用性呢？效率呢？现在针对每个计算节点一致性很强的集群，都不能很好地解决效率问题，常常不得不由研究人员（而不是专业计算人员）根据计算任务的特点自行并行化编程，效率才高。网格还差得很远。所以，在这样的软件问题解决以前，网格计算只能是一句空话。有人曾经在网上公布了一个核，计算圆周率，让有兴趣的下载了去自行计算，然后上传结果。原理上这基本可以说是一个网格计算的壮举，所缺的只是下载是手工完成的。申请网格研究经费的人常用此做例子。但要求它实际有意义，恐怕还有很长、很长的路要走，我认为基本上是一个人工智能的问题。所以，我说，网络概念是用来申请经费的，它还需要研究，研究，研究，...

上面这些可能不是很准确，但大致可以理解网格与集群的差异。

作者: shahand 时间: 2006-05-04 15:43
感觉就是理论与实践的关系

作者: 喜爱SuSE的boy 时间: 2006-05-05 10:09
看清前提！我特意做了限定！我只是从数值计算这个角度出发。

我想你不会否认世界超级计算机500强主要用作我限定的那些计算。你举例说说看，现在网格计算能承担这些任务吗？比如，500强是用linpack测速排序的。就是这个linpack计算（它远比真正的计算任务简单，但由于几乎囊括了所有主要的数值计算方式，所以用来测速排序），一个普通的有实际数值计算需要的科研人员，能在现在的条件下把它移植成网格计算吗？但是集群用MPI就可以！也许你可以说专家可以，但楼主呢，是个专家？即使是专家，我说的那些问题有有效的解决途径吗？或者，网格计算不是用来作数值计算的。但专家就是拿圆周率计算说事，描绘的前景至少把数值计算当作功能之一。你能否认搞网格计算的人拿圆周率计算举例吗？并行计算说到底就是让很多计算机共同分担一个复杂的计算任务。那个圆周率计算也是如此，不管它采用什么算法。

如果说grid computing还能做其他事，那是另一回事，超出我的限定，我不作评论。比如，没有人把BT（下载电影）当作网格计算。实际上，我认为，BT才是淋漓尽致地发挥了网格的功能。但这只是一个非常简单的用途。

楼主发出这样的问题，决不会是个计算机专家。一般，有你所说的那些网格应用需要的人是不会发出这样的疑问的，很可能也是一个搞数值计算的科研人员，所以我这样回答了他的问题。你发了一通有关圈子的议论，那又怎样？难道我不可以有我自己的观点？并不是对专家的不敬，专家的观点不一定对。联想在2002年8月建成我国第一台万亿次机（深腾18000）后，你是否知道我国的计算机专家怎么说？（大意）“垒机不能代替高性能计算机研究”，那篇文章对集群有一大堆指责、嘲笑和讽刺——集群是一堆机器堆叠在一起。我想，你是这个论坛版主，总不会赞同这个观点。实际上，硬件上，MPP和cluster主要也就是内存总线与系统总线的不同，即使是constellation，拓扑上也还是SMP的cluster。Beowulf的老祖宗Sterling早在2001年就断言，“20多年来的传统超级计算机的研制已是死路一条！”。他不是个计算机专家，断言也不一定作数，但是他对超级计算机的贡献谁也不会否认。专家也许会，因为只不过是一堆叠在一起的机器。但是，到今天，这个争论实际已经不言自明。今年的500强还没有出来。我想，集群在500强中占主导地位已经是无法逆转的趋势。

实际上，专家应该对“ethernet硬件上改变通讯协议减低延迟”这类实际有市场价值的问题感兴趣！我已经在坛子上贴出这个问题，看来高手也是不屑。就象我在那个帖子里说的，集群应该是标准的硬件组合。Ethernet硬件发展因为市场原因比专用网络技术快得多。因此，解决上面这个问题的市场价值不可估量。而我却是一个如你所说的不懂计算机的门外汉。所以即使再有兴趣，也没有可能独自去研究。我只是一个超级计算机的用户，只是想用廉价的平民化的超级计算机。你说现在高速专用网每个节点约5000RMB，我手头的数据不是这样，16个点，报价每个超出10000。可能取决于规模，但应该小一点才便宜，因为全速连接背板要求更高、更昂贵。即使5000，那价格比之千兆以太网呢？前景呢？

[ 本帖最后由喜爱SuSE的boy 于 2006-5-5 11:35 编辑 ]

作者: nntp 时间: 2006-05-05 11:58
linkpack和grid 扯上关系？还有数值计算？你觉得数值计算等等于并行计算?

grid是分布式计算，不是并行计算。

你继续掰吧. 嘿嘿.

作者: 喜爱SuSE的boy 时间: 2006-05-05 12:48
我对网格计算的解释，就是我在这个主贴下的第一个贴的2有没有错？

圆周率计算是不是常被网格计算的人拿来举例申请研究课题？

并行计算也好，分布计算也好，是不是很多机器一起分别承担计算任务？那我作出的结论有什么问题？我说的网格计算的两个最致命的困难有什么问题？

就象你上一贴所说，你可能没有时间，但实际上，如果你在写贴子前，先看清前提就更好了。我预先这样限定，就是为了避免争议。

专家总是喜欢把一个简单的问题说得很复杂，好让大家认为不可替代；而业余的总喜欢把一个复杂的问题说得简单，好让大家能把问题弄懂。

linpack是个测试程序。为什么大家接受它作为一个500强的测试标准？因为它囊括了几乎所有的数值计算方式。既然如此，如果我们的计算任务要用网格来计算，那自然有个移植的问题。但我不能光拿我的程序来说行还是不行，不具普遍意义。所以，既然linpack是个公开的、几乎包括所有数值计算方式的程序，它不是一个很好的大家可以接受的例子吗？如果它行了，那我个人程序的当然也行，没有理由说不。所以问，linpack能不能移植成网格计算？如果不能，那不就是我的第一贴要得出的结论吗？那不就是符合大多数的数值计算都不能移植的结论吗？

实际上，我仅仅是想说明一个观点：网格计算（仅仅是个概念。打个比方，就象圆周率计算，你下载了那个核了，作了计算了，上传结果了，你就是网格计算的一个环节了，唯一差的就是下载这个过程。我想，大部分网友都能明白这个例子），至少不适合我现在所进行的大规模数值计算。网友可以从我的第一贴看清这一观点。楼主不就是要知道网格和集群的差别吗？

作者: nntp 时间: 2006-05-05 13:11
有空你还是和我们交流交流SuSE的东西吧，不要在你不懂和不擅长的领域展开讨论了，没有很大意义。

我用SuSE 10年了，我也很喜欢SuSE,我们还是讨论讨论SuSE吧.

grid之类的，很多朋友也没有机会去参与构架和建设，多讨论没有意义，你如果感兴趣的话，多看看学习学习吧，我觉得你的思维能力还是很强的，应该对你不难，但是不要在一知半解的状态下就拿这个找人讨论，因为我想你来这里讨论的目的还是为了学习，不是为了让别人承认你把，虚的东西对你没有任何帮助。

说实话，我对grid也了解不多，我是linux的solution architect,并不是grid expert，虽然做过两个还算大的grid 项目，身边也有朋友在从事这行，不过我也说不出什么道道.

作者: 喜爱SuSE的boy 时间: 2006-05-06 22:32
你是否认为，集群的老祖宗如Thomas Sterling（一个美国航天航空署的科研人员）必须精通传统超级计算机技术，才能发出“20多年来的传统超级计算机的研制已是死路一条！”的议论？

传统超级计算机技术确实很高级，so what？没有市场支撑，就是死路一条！只要知道这些，就不妨碍Sterling们作出判断！

我对网格计算的具体技术确实一无所知，但从圆周率计算例子我知道它是怎么回事，所以，如上所述，这已经可使我回答楼主的问题，并作出自己的判断：我是一个对网格计算所宣称的计算能力有需求的人，因此也知道它不能为如linpack测试程序这类大规模数值计算所用，至少现在如此！

使用Linux的都是些GNU的受益者，本人也是，所以努力去推广普及；集群是符合国情的超级计算机，本人建过，所以对自建集群的人（可能都是一些作数值计算的科研人员），尽我所能提供帮助，因之才会在你的坛子里上帖。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)