Chinaunix

标题: 利用HDFS,KFS做并行计算 [打印本页]

作者: mengqin_neu 时间: 2010-01-29 09:35
标题: 利用HDFS,KFS做并行计算
HDFS和并行计算都有个共同点，就是有很多台机器。能不能利用datanode上存的数据，利用openmpi，进行并行计算呢,也就是说通过openmpi将计算任务分发到存有要计算任务文件的服务器上，服务器计算完事后，再将结果汇总。
在HDFS(KFS)这种分布式文件系统上，mapreduce的并行计算有局限性，只适合特定的模型，我想打破这种局限性，用openmpi做并行计算，不知道谁做过这方面的研究没？

作者: xiyuelihua 时间: 2010-02-03 23:43
看做什么计算

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)