- 论坛徽章:
- 0
|
由于前一阵子的hadoop测试,公司里有人误解了其Hadoop分布式文件系统,于是解释,于是查询资料。那么如下的一段话,直接定性的解决了此问题:
Distributed Filesystems: Properties
▪ Data distributed to local storage on multiple servers
▪ Metadata service ties distributed data into single filesystem
▪ decouples namespace from physical layout
▪ metadata either on single server, or distributed across several nodes
▪ Implementations:
1、 Special purpose: Hadoop, GoogleFS, ...
2、 Open Source: AFS, Lustre/HP SFS, Ceph, PVFS2
3、 Proprietary: GPFS, PanFS, FhGFS
其实,他们想要的是共享式文件系统:
SAN-based filesystems:
▪ Access same filesystem on shared block device from multiple
hosts
▪ Filesystem manages concurrent access through locking service
▪ Dumb „server“ (block device), complexity handled on client side
▪ Terminology: SAN filesystem, cluster filesystem
▪ Free implementations: OCFS2, GFS
▪ Proprietary implementations: mostly from major storage vendors
(cXFS, MPFS, PolyServe, TotalStorage SFS, Veritas CFS, ...)
以上的引用均来自:linux-kongress2008上的演讲稿。
在此突然想到IBM将其的HPC open stack,所以试图去找找关于此方面的内容,那么linux magzine上的这篇文章自然而然的成为我的阅读对象:
HPC standards,who needs them.
看了这篇文章,则会去参看5个链接:
1、
xCAT
2、
Rocks
3、
Oscar
4、
Intel Cluster Ready
5、
MPI library
关于这篇文章,我本身没有话可说,因为对于一些知识都不是很了解。于是既然xCAT排在前,那么就先了解一下它了:
fedora9+xCAT 2.1 Linux Pre-Release (Development)
Latest Daily Build
按照官方的文档安装,不过看我写的,不如去看这个链接的pdf文档:
http://xcat.svn.sourceforge.net/svnroot/xcat/xcat-core/trunk/xCAT-client/share/doc/xCAT-iDpx.pdf
由于没有环境,单机几乎什么也不能做,而去体验其web管理时,发现是个不完整的版本,那么又去看看php的源码,了解了点关于JSON方面的简介。perl,postgresql......
那么如果我有一台Blade cener +n*blade会怎么样了呢?
Rocks和oscar存在很长时间了,而不是我常常会想到开源的Beowulf。
再来看此图:
![]()
关于cluster的管理,据说是很难的一个领域,而IBM一直走在前列,xCAT2是个很强的工具。虽然不能真正的体验,但是类似kickstart的安装确实方便多了。
本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u/6303/showart_1351096.html |
|