关于Hadoop在HPC领域的应用

试着天真

我们实验室的集群目前采用的是lustre文件系统，全是大量的图像文件（单张几百MB的图片），但是IO速度慢的一比，读速度大约只有500MB/s，而我们的存储容量都快2PB了，我想问这个速度正常么？infiniband网络万兆网卡什么的都用了，由于是菜鸟为什么这么慢我也不懂。这两天我看到我们的计算节点（21个）上有300G的存储空间，我在想如果把每个计算节点的存储空间扩大成8TB，然后组一个HDFS文件系统，之后用spark或者Hadoop进行图像处理，处理完再写回lustre，不知这个方案是否可行？
PS：我们的图像采集完之后都要通过网络上传到集群上然后进行图像处理，是否可以把storm或者spark streaming用于上传时的处理，这样上传完数据基本就处理好了？

lemoncandy

试着天真 发表于 2015-03-18 17:21
我们实验室的集群目前采用的是lustre文件系统，全是大量的图像文件（单张几百MB的图片），但是IO速度慢的一 ...

你这个方案可行，如果你的数据不是特别重要，hadoop在数据安全方面还是有一些欠缺的