FastDFS一个高效的分布式文件系统

happy_fish100

出于性能等考虑，必须通过FastDFS的API来对文件进行存取，不能mount使用。

aficbl

一个组的容量为该组内服务器中的最小容量。

一个组的文件如果放不下了怎么办？

happy_fish100

如果不是指定组的方式（固定存放在一个组），系统会自动挑选尚有剩余空间的组来存放文件。如果空间都满了，上传文件将会失败（返回错误号：ENOSPC）

flat_peach

支持！~ 都是英文啊

bigplum

是否支持服务器跨地域分布？ 指定文件跨地域备份？

happy_fish100

可以的吧。
将不同地域的服务器放到同一个组中即可。

oralib

原帖由 Send_linux 于 2009-2-18 15:42 发表
FastDFS是一个开源的轻量级分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册 ...

你好，真的很佩服你，要是我也许很难有这样的毅力把这个东西写出来。
简单的了解了一下有几个问题请帮忙解答，多谢：

1>. 大文件（>500G）和很多小文件（<1K），的存放不知道怎么存放的。对于这两种极端情况部分怎么考虑。
大文件可以并发的读写吗？小文件如果也需要走同样的流程，那样当小文件相当多的时候是不是很慢很慢？
不知道对于这两种情况有什么好的做法，多谢！

2>. 对于文件的查找索引部分在那存放(Client or Tracker)？
如果在Client，Client下次再也不用了，那这部分空间怎么回收？
如果在Tracker，这样Tracker应该访问压力是很大的，怎么保证效率，怎么存储这部分索引信息。

多谢！

happy_fish100

1>. 大文件（>500G）和很多小文件（<1K），的存放不知道怎么存放的。对于这两种极端情况部分怎么考虑。
> 大文件可以并发的读写吗？小文件如果也需要走同样的流程，那样当小文件相当多的时候是不是很慢很慢？
> 不知道对于这两种情况有什么好的做法，多谢！

都是按文件存放的。上传的一个文件就保存在一个实体文件中。
并发写目前还不支持。V1.19开始支持指定读取文件的偏移量（offset）及长度（bytes），这样针对大文件，就可以在客户端实现并发读了。


2>. 对于文件的查找索引部分在那存放(Client or Tracker)？
> 如果在Client，Client下次再也不用了，那这部分空间怎么回收？
> 如果在Tracker，这样Tracker应该访问压力是很大的，怎么保证效率，怎么存储这部分索引信息。

上传文件成功后，文件ID由storage server返回给客户端。文件ID中包括了分组、文件路径和文件名等信息，需要由客户端来保存文件ID。因此FastDFS 服务器端是不需要保存文件ID或索引等信息的。不再使用的文件（比如用户删除了自己的照片文件），应该由client调用delete file接口删除该文件。

happy_fish100

Version 1.19  2009-07-23
* use poll instead of select in sockopt.c
* hash.c use chain impl by self
* use FastDHT 1.09 client code
* ini reader support HTTP protocol, conf file can be an url
* correct test dir compile error
* use non-block socket to increase network IO performance
* add cmd TRACKER_PROTO_CMD_SERVICE_QUERY_FETCH_ALL: query all storage servers
   from which the file can be dowloaded
* while (1) ... break; changed to do ... while (0);

changzi100

不错啊！