互联网技术新热点之--Hbase存储空间效率如何提升？（获奖名单已公布-2013-5-22）

laputa73

就想找一个NFS的简单替代系统.
可以分布式\可靠\高性能\支持高并发 地存取文件/数据.
nfs还是容易挂死

mz198424

1、如果您已经在使用HDFS，HDFS对中小文件存储效率不高，您是如何解决的？
1.将小文件的合并以及小文件的读取改进为Map-Reduce任务，从而提高操作的效率；
2.对SequenceFile中的小文件查找算法进行改进，提高小文件查找效率。

2、如果您还在对分布式文件系统进行选型，你理想中的分布式文件系统的功能，特别是存储效率这块，有哪些特色？
理想的文件系统,个人理解应该是能够通过比较简单的安装和配置达到用户的业务要求，
并且有极强的稳定性，如果某些节点出现出现问题，能够及时的恢复。

renxiao2003

1、如果您已经在使用HDFS，HDFS对中小文件存储效率不高，您是如何解决的？
可以用Hadoop自带的一些工具，比如Archive可以高效的将小文件放入HDFS block中。
或者用Sequence File 来将文件map成K/V（K是文件名，V是文件内容)整合成大文件。

2、如果您还在对分布式文件系统进行选型，你理想中的分布式文件系统的功能，特别是存储效率这块，有哪些特色？
理想的文件系统可以满足业务的需要， 提供高可用，还可以为将来的扩展提供一定的基础。这样比较好。比如考虑的因素多数IOPS,delay等。
比如：如果对实时性强，大文件的一些业务。某些文件系统比如NFS,NA就不能满足需求，或者可扩展性不高。
可以考虑HDFS,NDFS。但NDFS的扩展性可能没有HDFS那么高。。没尝试过。。
HDFS一般使用的64MB或者128MB的block结构，跟传统的文件系统block大小不一样。这样可以大大的缩减寻道时间，这样对于读写大文件来说，大大改善了IO的问题。
HDFS还提供冗余的功能，一个block可以有2,3个副本。
如果业务并不要求有大文件的操作的话，那么可以考虑传统的NFS,SAN,NAS.其中SAN比较昂贵。而NAS的传输速率没有SAN那么快，虽然改进的有iscsi技术出现，但毕竟是不通协议的整合，对存储效率有一定改善提高。

ddd010

很喜欢那个保温杯，可惜没有hdfs相关经验。。

期待各位大牛分享经验。

fyyizu

现在动不动就要求会这会那，先来看看基本知识

xike2002

1、如果您已经在使用HDFS，HDFS对中小文件存储效率不高，您是如何解决的？
答：首先谈谈HDFS的架构模式。HDFS采用主从式架构设计模式（master／slavearchitecture），一个名称节点（NameNode）和若干数据节点（DataNode）构成HDFS集群。HDFS的这种单名称节点的设计极大地简化了文件系统的结构，然而也因此引发了HDFS的小文件存储效率低的问题。因为HDFS中的每个目录和文件的元数据信息都存放在名称节点的内存中，如果系统中存在大量的小文件（指那些比HDFS数据块（默认为64MB）d，得多的文件），则无疑会降低整个存储系统的存储效率和存储能力。
    解决基于HDFS的存储系统中小文件存储效率问题的主流思想是将小文件合并或组合为大文件，目前主要的方法分为2种，一种是利用Hadoop归档（Hadoop archive，HAR）等技术实现小文件合并的方法，另一种则是针对具体的应用而提出的文件组合方法。

2、如果您还在对分布式文件系统进行选型，你理想中的分布式文件系统的功能，特别是存储效率这块，有哪些特色？
答：目前要是考虑到存储效率这块的话，我觉得大家可以考虑Lustre分布式存储技术和glusterfs分布式存储技术等等。目前这两项技术都是很不错的选择，而且很多开发者都在使用。
下面是几种常用分布式存储技术的比较。

yezj2004

祝楼主快乐,大家一齐讨论！

gnah

1、如果您已经在使用HDFS，HDFS对中小文件存储效率不高，您是如何解决的？
分为几个方面
系统调优:64位linux , 使用ram, 不用swap
jvm调优:一般hdfs需要的内存都比较大,运行在jvm上,jvm的调优就显得尤为重要了,这个和今天的主题有些不一致了就不详细说了,基本上共同的选项就-XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode -XX:+CMSIncrementalPacing 等等,其他选项就看具体硬件配置了.
HDFS: 设置dfs.client.read.shortcircuit=true,读取本地数据是不需要经过RegionServer绕一圈
小文件: 这个其实不是HDFS 64M数据块的初衷(当然也可以改,但改小了以后大文件效率又低了),不过官方也出了一些办法,归纳起来就是对小文件使用归档(如果使用了MR也可以组合),批量写入,批量读取,设置 AutoFlush=false等办法提高效率
缓存: 经常使用的数据使用Block Cache
调度器Zookeeper的优化: (集群比较大,调度成为瓶颈时)
我所知道的就这些了,肯定不完整,大家互相学习共同进步!
2、如果您还在对分布式文件系统进行选型，你理想中的分布式文件系统的功能，特别是存储效率这块，有哪些特色？
由于我们使用了MR, hbase等 ,HDFS几乎成了唯一的选择,刚开始也考虑过GridFS,不甚理想,其他的DFS暂时还没有接触.

shreychen

关注，最近接手hadoop/hbase运维，遇到各种问题