请教happy_fish100版主，在测试fastdfs中发现的一个问题

njxuyj

文件内容放在数据库中的

happy_fish100

数据库会成为系统瓶颈，如果文件容量特别大，建议改用分布式文件系统，以文件方式存储。

njxuyj

非常感谢老大的解答,再问你一个问题,我们系统的文件不是特别大的,主要是图片, 一般在百K的级别,请问用你这个文件系统合适吗?
另外我现在准备按照你的一篇关于[测试方案及测试结果 ]的文章来做测试.

[ 本帖最后由 njxuyj 于 2009-9-1 11:01 编辑 ]

happy_fish100

FastDFS的定位就是为网站的文件的存储和下载提供分布式解决方案。
你们这种的情况，非常适合使用FastDFS来存储和下载图片文件。
最新的V1.20版本已经支持HTTP方式下载文件，可用通过svn checkout出来。
V1.20目前暂时还没有打包上传到google code，很快会打包上传。

njxuyj

happy_fish100你好
前段时间一直忙把研究FastDFS的事情耽误下来了,现在准备花时间来搞这个,今天再次看了你的文档有个地方我一直不明白

在FastDFS的服务器端配置文件中，bind_addr这个参数用于需要绑定本机IP地址的场合。只有这个参数和主机特征相关，其余参数都是可以统一配置的。在不需要绑定本机的情况下，为了便于管理和维护，建议所有tracker server的配置文件相同，同组内的所有storage server的配置文件相同???????

我的问题如下:
比如我有tracker cluster A,B,C三台.
          storage cluster 三个组 group A,B,C.然后每组由storage1,storage12,storage3组成
那假如我新增了一台tracker D,那是不是要在每台storage server中增加该机器的主机参数(host,port),如果是这样我是不是要一台一台的停止->修改配置文件->重起,在这个过程中会不会做到失效转发.
我看你的实现原理是storage 主动去连接tracker 的
还有在这些cluster 中有没有一台是作为主机的?
还有在你的这个分布式环境中如何去管理监视每台机器的运行情况?

[ 本帖最后由 njxuyj 于 2009-10-20 18:53 编辑 ]

happy_fish100

你的理解是对的，增加tracker server的确要像你说的那样操作。
1台tracker server可以支持千万级日访问量，估计支撑5000万日访问量没有任何问题。
一旦集群架构起来后，在集群中增加新的tracker server的情况会特别少见。

njxuyj

感谢你的解答,目前我们公司准备上这样一套系统,我力推你这套系统,公司高层现在在做一些评估,他们有点倾向与hadoop,毕竟我们公司的网站访问量很大对客户而言稳定,快速由为重要,所以希望老大你给我一定的帮助.

tracker cluster是不是就类似于loadblance的功能,如果是这样那他们之间有没有谁是主机,是否需要架设前置机?
比如有两台tracker 组成的cluster,请问这两台机器之间能做到失效转发吗?比如其中一台挂掉了.
还有就是客户端是如何连接tracker cluster?连接其中的某一台还是?

happy_fastdfs

这个问题我了解些，首先hadoop跟FastDFS定位不同的，hadoop适合处理单个大任务和单个大数据集的跨机器分布计算，通常跟map-reduce一起使用，将一个大任务通过先分散到不同机器去计算，然后再把中间计算结果集中起来。
FastDFS是适合多个小文件并发上传下载的，不适合单个大任务或单个大数据集的访问。

FastDFS的tracker，可以启动多个，只要在客户端的client.ini内配置tracker列表就可以容灾了，倒掉了几个tracker，只要还有一个活的tracker即可，Storage也是，一个group内只要还有一个Storage活的，就不影响业务。

这点，多看其他贴的资料，自己做一下测试会更清楚细节。

njxuyj

我们公司现在网站的部署分布在三个点(美国、电信、我们公司）
如果用FastDFS，能把这三个点的数据同步吗？这种不在同一个局域网之间的数据同步效率如何？支持吗？请问如何部署呢？

是把这三个点(美国、电信、我们公司）作为一个组还是分成三个组，如果是三个组按照你文档里说的 组与组之间不能实现同步，如果做成一个组那么这种跨广域网之间的同步效率是不是很低？
我们的目的是希望这三个点的数据要保持一致（目前我们是通过数据库的复制机制来实现的）

[ 本帖最后由 njxuyj 于 2009-10-23 15:48 编辑 ]

happy_fish100

放到一个组内即可。
storage server和storage server之间要能相互连接和通讯。
建议你先看一下论坛中FastDFS的相关技术文档吧。