- 论坛徽章:
- 49
|
原帖由 mengqin_neu 于 2010-1-28 09:14 发表 ![]()
GFS，HDFS，KFS有什么区别啊，或者说KFS较前两者有什么优势，指点指点哦,最好说的具体点。
这个 难道太大，呵呵
但是网上有不少可以参考的，呵呵
KFS（KOSMOS DISTRIBUTED FILE SYSTEM），一个类似GFS、Hadoop中HDFS 的一个开源的分布式文件系统。
PS: google的三大基石 gfs,bigtable,map-reduce 相对应的开源产品 gfs:kfs(据传google创史人的同窗所创)，hdfs(hadoop的子项目) bigtable:hbase(hadoop的子项目)，Hypertable（从hbase项目组分离出去的，用c++实现） map-reduce:hadoop（apache的项目，java实现，目前创史人在yahoo全力打造，已有2000个以上的节点并行计算的规模）
Google两个共同创始人的两个大学同窗（印度人）Anand Rajaraman和Venky Harinarayan，创立的一个新的搜索引擎Kosmix最近捐献了一个克隆GFS的文件系统KFS项目。Hadoop和Hypertable这两个项目也开始支持KFS来做底层的存储。KFS是用C++写的，但是其client支持C++，Java和Python。那么KFS到底有什么特性呢？
1. 支持存储扩充（添加新的chunckserver,系统自动感知）
2. 有效性（复制机制保证文件有效性）
3. 负载平衡（系统周期地检查chunkservers的磁盘利用，并重新平衡chunkservers的磁盘利用，HDFS现在还没有支持）
4. 数据完整性（当要读取数据时检查数据的完整性，如果检验出错使用另外的备份覆盖当前的数据）
5. 支持FUSE（HDFS也有工具支持FUSE）
6. 使用契约（保证Client缓存的数据和文件系统中的文件保持一致性）
HDFS未支持的高级特性：
1. 支持同一文件多次写入和Append，不像HDFS支持一次写入多次读取和不支持Append（最近要增加Append，但是遇到许多问题）。
2. 文件及时有效，当应用程序创建一个文件时,文件名在系统马上有效。不像HDFS文件只当输入流关闭时才在系统中有效，因此，如果应用程序在关闭前出现异常导致没有关闭输入流，数据将会丢失。
官方网站： http://kosmosfs.sourceforge.net/
来自startup的垂直搜索引擎http://www.kosmix.com/的开源项目，又一个开源的类似google mapreduce 的分布式文件系统，可以应用在诸如图片存储、搜索引擎、网格计算、数据挖掘这样需要处理大数据量的网络应用中。与hadoop集成得也比较好，这样可以充分利用了hadoop一些现成的功能，基于C++。
还有一个链接：
http://blog.csdn.net/Cloudeep/archive/2009/08/20/4467238.aspx |
|
免费注册
发表于 2010-01-28 09:14
