FastDFS－开源分布式文件系统

happy_fish100

不是标准的文件系统，只能通过Client API来对文件进行存取。
以文件为单位进行存储，不会对一个大文件进行分块存储。
详情请参阅  http://www.csource.org/ 中的DFS相关文章。

baif

原帖由 happy_fish100 于 2008-9-17 12:13 发表
不是标准的文件系统，只能通过Client API来对文件进行存取。
以文件为单位进行存储，不会对一个大文件进行分块存储。
详情请参阅  http://www.csource.org/ 中的DFS相关文章。

喔，是这样的构架设计，也可以啊。 不知道性能方面如何。

happy_fish100

转载我网站的一篇文章吧，希望对大家有所帮助。
FastFDS和MogileFS的对比

FastDFS设计时借鉴了MogileFS的一些思路。FastDFS是一个完善的分布式文件存储系统，通过客户端API对文件进行读写。可以说，MogileFS的所有功能特性FastDFS都具备，MogileFS网址：http://www.danga.com/mogilefs/。


另外，相对于MogileFS，FastDFS具有如下特点和优势：
1. FastDFS完善程度较高，不需要二次开发即可直接使用；
2. 和MogileFS相比，FastDFS裁减了跟踪用的数据库，只有两个角色：tracker和storage。FastDFS的架构既简化了系统，同时也消除了性能瓶颈；
3. 在系统中增加任何角色的服务器都很容易：增加tracker服务器时，只需要修改storage和client的配置文件（增加一行tracker配置）；增加storage服务器时，通常不需要修改任何配置文件，系统会自动将该卷中已有文件复制到该服务器；
4. FastDFS比MogileFS更高效。表现在如下几个方面：
    1）参见上面的第2点，FastDFS和MogileFS相比，没有文件索引数据库，FastDFS整体性能更高；
    2）从采用的开发语言上看，FastDFS比MogileFS更底层、更高效。FastDFS用C语言编写，代码量不到2万行，没有依赖其他开源软件或程序包，安装和部署特别简洁；而MogileFS用perl编写；
    3）FastDFS直接使用socket通信方式，相对于MogileFS的HTTP方式，效率更高。并且FastDFS使用sendfile传输文件，采用了内存零拷贝，系统开销更小，文件传输效率更高。
5. FastDFS有着详细的设计和使用文档，而MogileFS的文档相对比较缺乏。
6. FastDFS的日志记录非常详细，系统运行时发生的任何错误信息都会记录到日志文件中，当出现问题时方便管理员定位错误所在。
7. FastDFS还对文件附加属性（即meta data，如文件大小、图片宽度、高度等）进行存取，应用不需要使用数据库来存储这些信息。

nhuczp

有时间玩一下..

呵呵!!
多谢分享!!

happy_fish100

Version 1.10  2008-09-20
  * performance optimizing: use thread pool, create all work threads at startup
  * trim function op in shared_func.c
  * add Makefile template Makefile.in, delete Makefile and Makefile.freebsd
    change make.sh to support all unix systems (passed in Linux and FreeBSD)

happy_fish100

Version 1.11  2008-10-04
  * kill report and sync threads when recv terminate signal
  * add item "store_server" in tracker.conf, by default use the first
    storage server to store uploaded files
  * ini_file_reader.c changed: a conf file can include other conf files
  * some adjustment:
    some macro name changed
    add common_define.h
    remove fdfs_define.c
    fdfs_os_bits.h change to _os_bits.h

yangludy

原帖由 happy_fish100 于 2008-10-5 19:41 发表
Version 1.11  2008-10-04
  * kill report and sync threads when recv terminate signal
  * add item "store_server" in tracker.conf, by default use the first
    storage server to store uploaded  ...

请分析下错误谢谢

[2008-10-24 11:21:54] INFO - FastDFS v1.11, base_path=/home/yangzi, network_timeout=30, port=22122, bind_addr=192.168.6.105, max_connections=1024, store_lookup=1, store_group=group1, store_server=1, reserved_storage_space=10MB, allow_ip_count=-1
[2008-10-24 11:21:54] ERROR - file: ../common/shared_func.c, line: 1526, create thread failed, startup threads: 382, errno: 12, error info: Cannot allocate memory

happy_fish100

估计是机器内存不足的原因，将配置文件中的max_connections调小即可，比如调到64或更小。

happy_fish100

V1.12修复了文件同步的几个问题，支持从服务器列表中删除已经下线或无效的存储服务器。
另外几个重大改进如下：

1. 对于下载一个已经存在的文件，当客户端询问tracker server时，tracker server将返回一个有效的storage server，保证该文件在该storage server上的确存在。这样就修正了文件同步延迟导致其他服务器上新文件尚未存在的问题。

2. 对于删除文件和修改meta data，提供了query storage server for update的函数，保证对一个文件的后续更新操作都在同一台storage server上完成，这样就有效地解决了时序问题。

3. 支持客户端指定文件后缀，便于在storage server上部署web server，配合web server通过文件后缀完成文件类型识别。

4. 磁盘IO优化：binlog记录采用cache方式，而不是每条记录都fsync到硬盘；写文件时，按目录顺序存储的效果比按目录分散（随机）存储要好。

5. 一台storage server支持多个目录（mount point）。为了提高硬盘IO，建议将多块硬盘分别mount成独立的目录，然后交给FastDFS管理。

6. 提供了将服务器返回的两个字段group name和filename合并为一个字段file_id的API

7. 为了支持流处理，客户端文件下载函数支持callback

google code下载地址：http://code.google.com/p/fastdfs/downloads/list
欢迎大家下载测试和使用！

happy_fish100

Version 1.13  2008-11-29
  * re-calculate group 's free space when one of it's storage servers'
    free space increase
  * add parameters: sync_interval, sync_start_time and sync_end_time to
    storage.conf
  * performance enhancement: log to buffer, flush to disk every interval seconds
  * standard fds closed by daemon_init: 0(stdin), 1(stdout) and 2(stderr)
  * fix bug: pthread_kill sometimes cause core dump when program terminated
  * fix bug: sync.c open next binlog cause loop call