保存很多小文件，如何提高性能

leotangcw

reiserfs对小文件有一定优势，XFS适合大文件，但是说是优势，实际测试性能差距没有多少。
压缩成大的压缩包存就有优势，不过知道楼主不是这个意思

tangye

感谢各位提供那么多建议。

回头捣鼓一下看看

bigmoyo

有套应用，工作日每天生成小文件７－８千，周六周日则可能上万，用的ＮＴＦＳ，结果到了１８万小文件时，硬盘干脆就坏菜了，包换期内，硬盘换了．
此前文件也没有分开在多目录下存．
然后在程序中，生成的文件按天有目录，按目录下按人头再分目录，基本保证了每个目录下的文件顶多也就几百个；每天４点－５点之间，去批删除１２天前的文件及目录，到现在基本算是稳稳运行了两年多了．
我的经验是任何单一文件系统但凡超过１０万个小文件是会有明显性能下降滴．

提高性能我觉得可以这么干：
1. 分散于多个文件系统上, 每个文件系统上别超过１０万个小文件．例如分８个分区，在应用中生成文件时按某些规则分别写到８个分区去．
2. 一定要分目录，保证每个目录下文件数量不上千，分目录规则视应用而定．

tangye

bigmoyo 发表于 2012-05-30 16:08
有套应用，工作日每天生成小文件７－８千，周六周日则可能上万，用的ＮＴＦＳ，结果到了１８万小文件时，硬 ...

每天生成小文件７－８千，周六周日则可能上万

这个算每周5W个文件，18W才4周不到。硬盘挂掉没有普遍意义吧

分路径存储应该是不错的建议

wolfop

rtm009 发表于 2012-05-29 17:16
看看所谓的tbfs的方案吧 我没记错的话是500台pc server 搞了一个所谓的小图片缓存

tbfs方案是专门为一次写入，后面只读而做的。适合所有小文件的场景么？如果频繁删除，追加和改写呢？
而且他自己宣传“基于Hdfs 0.20进行全面改造，设计目标：单个集群可达10000台服务器，支持10亿文件、100PB的数据的存储”
明显文件很大啊，单个文件100M。
10亿个文件真不多，以前有个计费系统30-40多亿个小文件，就把一个集群文件系统搞出了不少BUG。metadata同步是大问题。

rtm009

好好的去看看有关tbfs的文章吧 看不懂就当我没说 有钱就上gpfs好了 没钱开源的也有很多解决方案的

owenhappy

你的场景是怎么样的 ？
1.需要metadata吗？
2.只要速度数据就OK了？

yfg123

还有hdfs乍么样？

taotao1240

如果没有专门的开发，还是不要去搞tbfs和hdfs，出了问题你就哭吧，没人帮你。

wolfop

rtm009 发表于 2012-06-03 14:21
好好的去看看有关tbfs的文章吧 看不懂就当我没说 有钱就上gpfs好了 没钱开源的也有很多解决方案的

gpfs明显是针对大文件优化的，并不适合有大量小文件的场景。尤其是有频繁创建新文件，删除文件的场景。