请问单个storage可容纳的文件数量及相应性能情况

liangfeng_mic

版主您好：
           默认情况下，一个storage下会自动创建256*256个文件目录，请问每个目录下storage最大会存放多少文件？
           另外，在您的3.0的计划中，提到“海量”小文件会导致文件系统性能急剧下降，乃至崩溃。请问这里的“海量”大致在什么级别，通过扩展主机（不仅仅是磁盘）是否可以解决“海量”小文件带来的性能瓶颈？
            谢谢！

happy_fish100

回复 1# liangfeng_mic

>> 默认情况下，一个storage下会自动创建256*256个文件目录，请问每个目录下storage最大会存放多少文件？
每个目录下存放的文件数没有限制。
按256 * 256 = 65536个子目录计算，平均每个目录下有1000个文件，已经可以支持6千多万个文件。

>> 另外，在您的3.0的计划中，提到“海量”小文件会导致文件系统性能急剧下降，乃至崩溃。请问这里的“海量”大致在什么级别，通过扩展主机（不仅仅是磁盘）是否可以解决“海量”小文件带来的性能瓶颈？
出于性能考虑，我觉得单台机器存储的文件数不要超过1千万吧。

liangfeng_mic

非常感谢版主的及时回复，辛苦了！

对于目录下文件数目限制您已经表示没有限制，我有一个疑惑：我搭建了一个试验环境，由于上传的文件还不多，我看到文件都被放置在00/00这个目录下了，我想知道当00/00下面有多少文件时，storage才会把上传的文件放置在其它目录中（显然不会一直往00/00下面放的吧 ）。

对于单台storage上放置大量小文件对性能造成的影响，我会在试验环境上试验一下，如果效果不佳，就很期待您的3.0了 。
这里想弱弱的提一下，不知3.0对之前的版本是否兼容，我比较关心数据是否兼容；就是说使用3.0之前版本存储下来的大量文件，3.0是否能够继续管理。否则，就得进行数据迁移了，如果数据量巨大，那就头大了。

再次感谢版主的付出！

happy_fish100

回复 3# liangfeng_mic

>> 对于目录下文件数目限制您已经表示没有限制，我有一个疑惑：我搭建了一个试验环境，由于上传的文件还不多，我看到文件都被放置在00/00这个目录下了，我想知道当00/00下面有多少文件时，storage才会把上传的文件放置在其它目录中（显然不会一直往00/00下面放的吧 ）。

缺省的配置是一个目录下存满100个文件后，才存储到下一个目录中。请仔细核对一下是否如此。

另外一个升级的问题，FastDFS都是向下兼容的。高版本完全兼容低版本，请放心升级。

liangfeng_mic

版主你好：
           我在ext3和ext4下试验了单个storage的性能，确如版主所说：当小文件达到1000万时，出现了严重的文件寻址问题（I/O等待严重）。
看到您的3.0版本出来了，比较有兴趣，版主是否可以说明一下3.0中的小文件合并功能是怎样做到的呢？
另外，发现返回的文件ID中，似乎又包含了更多的信息，是否可以解释一下？
                               谢谢！

happy_fish100

回复 5# liangfeng_mic

以前整理的V3.0规划及实现说明参见：
http://bbs.chinaunix.net/thread-1916943-1-1.html

V3.0的文件ID中还包含了文件所在的trunk id和offset等信息。