FastDFS 3.0功能规划及方案设计

liangfeng_mic

版主您好：
            对于海量小文件造成的文件寻址瓶颈，是否还可以有其它的解决方案，比如说选择高性能的文件系统；您认为FastDFS若部署于ReiserFS上，有可能突破文件寻址瓶颈吗？
            谢谢！

happy_fish100

回复 11# liangfeng_mic

FastDFS V3.00采用的方案，是解决海量文件存取的应用级解决方案。是目前业界普遍采用的一种解决方案。
如果文件系统本身很好地解决了这个问题，当然是最好不过了。
你可以试试你所说的系统级解决方案。
另外，还有名叫xfs的文件系统，貌似性能也不错。

happy_fish100

FastDFS 3.0 于2011-06-19发布，目前最新版本是V3.01，欢迎大家使用，并反馈问题和建议。
要使用3.0的trunk特性，只需对tracker.conf中的几个配置项进行设置即可。
详情参见《FastDFS 配置文件详解》：http://bbs.chinaunix.net/thread-1941456-1-1.html

为了方便大家，摘录如下：
# if use a trunk file to store several small files
# default value is false
# since V3.00
use_trunk_file = false
# V3.0引入的参数。是否使用小文件合并存储特性，缺省是关闭的。

# the min slot size, should <= 4KB
# default value is 256 bytes
# since V3.00
slot_min_size = 256
# V3.0引入的参数。
# trunk file分配的最小字节数。比如文件只有16个字节，系统也会分配slot_min_size个字节。

# the max slot size, should > slot_min_size
# store the upload file to trunk file when it's size <=  this value
# default value is 16MB
# since V3.00
slot_max_size = 16MB
# V3.0引入的参数。
# 只有文件大小<=这个参数值的文件，才会合并存储。如果一个文件的大小大于这个参数值，将直接保存到一个文件中（即不采用合并存储方式）。

# the trunk file size, should >= 4MB
# default value is 64MB
# since V3.00
trunk_file_size = 64MB
# V3.0引入的参数。
# 合并存储的trunk file大小，至少4MB，缺省值是64MB。不建议设置得过大。

mikzh

初次接触FastDFS，问几个题外话：

1. 团队配置如何，一旦出现问题，版本不再更新，大家岂不是要自己改源码？呵呵
2. 何时能提供python支持？
3. 跟TFS、Mongodb、hadoop比，Fdfs优势在哪块？

LZ能否抽点时间耐心解答一下，谢谢哈！

eof007

你好，我想用fastDFS来替换目前的邮件存储系统，邮件系统是每个邮件一个文件。trunkfile 功能很好，但对空间分配和释放算法不太明白，请教下：
trunkfile元数据是保存在trunkfile的开头head中吧？
在内存中是保存所有trunkfile的元数据吗？还是当一个trunkfile的free空间少于一定空间后，就不再insert，也不用保存到内存中，等delete后free空间达到一定值时再作为可选trunkfile？
关于trunkfile，内存中主要数据结构有哪些？按什么策略找到可插入的trunkfile？
能稍微详细讲下算法吗？谢谢

happy_fish100

回复 15# eof007
一个group由一台stroage server承担trunk server的职责。
trunk server管理可用的trunk空间，通过AVL平衡二叉树来组织。
trunk file中，包括header和data区域两部分。header中记录文件占用的空间，文件后缀名等信息，紧接着是文件内容（data区域）。
文件被删除后，其占用空间回收到trunk server的可用空间中（作为一个结点插入到AVL tree），下次可以被重新分配利用。

eof007

回复 15# eof007
谢谢回复。
AVL树是只存在内存还是内存和硬盘都有？
文件平均只有10K，但数量达到10亿级别，频繁删除，能存储吗？
有存储大量小文件实际案例吗？
问得比较多，主要是具体算法不太清楚，测试环境不一定能反映生产环境情况，想从原理上多点了解，多点信心。
用于生产环境，还是要小心。



   

happy_fish100

回复 17# eof007

>>AVL树是只存在内存还是内存和硬盘都有？
只保存在内存中。

>>文件平均只有10K，但数量达到10亿级别，频繁删除，能存储吗？
可以。可能需要分为多个group。

>>有存储大量小文件实际案例吗？
小文件合并存储这个特性是去年6月份发布的，目前还没有收到使用这个特性的用户反馈。

欢迎加入FastDFS技术交流群讨论：164684842

happy_fish100

自顶一下这个介绍性帖子，以方便大家查看。

yier008

版主老大，我 非常想和你一起做这个事情，不知道有机会没啊