FastDFS分布式文件系统应用交流！赢取数据库技术大会门票！（获奖名单公布）

happy_fish100

xiaodi553 发表于 2012-02-24 10:27
那我现在生产是 一个group 2个storage，如果安装dht服务那我需要再弄一台机器配置dht服务，然后吧dht的配置 ...

恩，是的。当然你也可以复用storage server。

happy_fish100

hbsycw 发表于 2012-02-24 16:05
FastDFS能支撑多大的机群，效率如何？

系统不存在瓶颈问题，理论上可以无限扩容。
使用FastDFS的一个客户，group数超过200个，存储容量超过3PB。

renxiao2003

我提一个比较难的问题，看这个是新的文件系统，适合文件存储与同步，不知道这个文件系统支持多大的文件大小？
我们的项目中现在存在一个高速拷贝的问题即待解决，那么这个文件系统适合分布式操作吗？同步速度有多快？能适时的同步吗？

mineral_cu

我再提另外一个问题

fastdfs java api的封装。
看代码目前就是直接底层socket通讯，也没有连接池、异步化等概念。每个读文件操作都要重新建立socket连接，虽然fastdfs服务端使用Libevent实现了高并发，但client这种方式在大并发下，会不会有性能问题。
建议java client api出一个基于nio的版本。

happy_fish100

回复 13# renxiao2003

我提一个比较难的问题，看这个是新的文件系统，适合文件存储与同步，不知道这个文件系统支持多大的文件大小？

FastDFS对大文件和小文件均可很好支持。

我们的项目中现在存在一个高速拷贝的问题即待解决，那么这个文件系统适合分布式操作吗？同步速度有多快？能适时的同步吗？

可以做到准实时同步。可以调整几个参数来加快同步速度，参见文档：http://bbs.chinaunix.net/thread-1941456-1-1.html
LS可以测试一下同步速度能否满足你们的实际要求。

happy_fish100

回复 14# mineral_cu

如果有谁能友情提供一个NIO版本就好了，呵呵。

yifangyou

1.FastDFS中跟踪器是如何在某个卷中的各台机器中的备份数量，若是各台机器的硬盘空间不一致如何解决？
2.卷和卷之间的文件存放位置是如何决定的，如何解决各个卷中空间不一样的问题？
3.当出现某一台故障后，多长时间能够检测到？
4.新增机器或者一个卷时，文件如何分配？
5.若是上传的文件比任何一台机器上的剩余空间都大，如何解决？
6.访问文件和管理文件是如何控制的？

happy_fish100

回复 17# yifangyou

1.FastDFS中跟踪器是如何在某个卷中的各台机器中的备份数量，若是各台机器的硬盘空间不一致如何解决？

FastDFS采取组内冗余的做法，一个group中storage server的配置，尤其是磁盘容量，需要保持一致。

2.卷和卷之间的文件存放位置是如何决定的，如何解决各个卷中空间不一样的问题？

tracker server上可以配置存放策略的，可以看一下相应的配置文件说明。
group之间的空间，完全可以不一致。

3.当出现某一台故障后，多长时间能够检测到？

如果storage server down机，tracker server几乎马上就可以感知到。
如果是磁盘读写异常，需要其他监控工具配合使用。

4.新增机器或者一个卷时，文件如何分配？

参见问题2的答复。

5.若是上传的文件比任何一台机器上的剩余空间都大，如何解决？

FastDFS对大文件没有采用分块存储方式，目前尚不支持这样的巨无霸文件。

6.访问文件和管理文件是如何控制的？

管理文件走FastDFS API，下载文件可以走apache或nginx，使用FastDFS提供的扩展模块即可。

yifangyou

回复 18# happy_fish100
1.按照你的说法组内各个机器上面的文件应该都是一样，有多少台机器就有多少个备份？
5.若是上传的文件比任何一台机器上的剩余空间都大，如何解决？
我说的不是巨无霸文件，我只是说若是某一台机器就剩余1GB,而我上传的文件是3GB，如何处理。


   

happy_fish100

回复 19# yifangyou

1.按照你的说法组内各个机器上面的文件应该都是一样，有多少台机器就有多少个备份？

是的，组内文件是一致的。通常一个group内有3台storage server就足够了。

5.若是上传的文件比任何一台机器上的剩余空间都大，如何解决？
我说的不是巨无霸文件，我只是说若是某一台机器就剩余1GB,而我上传的文件是3GB，如何处理。

如果每个group的剩余空间都不足以放下这个3GB的文件，那说明系统剩余空间不足，上传这个文件会失败。