Chinaunix

标题: fastDFS的一些疑问 [打印本页]

作者: ouqz 时间: 2009-12-09 10:58
标题: fastDFS的一些疑问
1、fastDFS是分组管理的，每个组存贮的数据一样，一个或者多个服务器组成的Tracker server可以控制多个组，组与组之间存贮的数据是不一样的。但是这个操作应该如何配置呢？我现在的Traker server 下面有控制了几台的Storage server 它配置是这样的：store_group=group2，如果我想把这个Tracker server 可控制多个组那么应该如何配置呢？是不是简单的store_group=group1就可以了？
2、一些实际的问题：由于fastDFS的存贮特点，它组内的Store server 存贮的数据是一样的。那么如果我同组内的Store server 贮放的地方不一样，比如一台放在上海、一台放在广州、一台在深圳。我在存贮跟数据的时候它必须是要同步的，然后我存贮很大的数据或者并发有很多用户同时上传数据，那么各地方的数据同步肯定也就很大量了，如果机房是共享网络的时候，管理员看到你数据传输量那么大，把它的带宽都吃完了，那么肯定对我的服务器做限制或者什么的。我想问一下，如果是这种情况下，楼主有没有一些好的建议呢？或者能不能做得到每个Store server之间的同步能不能我设定一个时间来做呢？比如是深夜之类的？
3、我想问一下，我怎看一台Store server 的硬盘存贮的大少呢？这样我才知道什么时候要加硬件了。还有一个问题，我看到一些DFS它的存贮是把一个数据来拆开存贮的，用户要下载的时候再把它结合在一起成了一个完整的文件下载，这样硬盘的利用就很高了，而且数据访问量也相对少很多。

作者: MYCY07 时间: 2009-12-09 12:09
标题: 回复 #1 ouqz 的帖子
1, Storage server 上 store_group=*** 配置成不同的组名就变成不同的组了,同一组内不同节点存储空间大小最好一致
2, 节点同步时间可以只有设定, 默认的 sync_start_time=00:00
sync_end_time=23:59

作者: ouqz 时间: 2009-12-09 13:25
谢谢你的回复!
  "1,  Storage server 上 store_group=*** 配置成不同的组名就变成不同的组了,同一组内不同节点存储空间大小最好一致
"
  这个我知道啊，但是这个是Storage server 上面的设置，这个是一个组，但本身Tracker server 本身应该是可以控制多个组的，
  我是想问一问在Tracker server 怎么设置才可以做得到这一点，一个组的话直接设置store_group就可以控制一个storage组了，但是多个呢？？

作者: happy_fish100 时间: 2009-12-09 13:41
Q1、fastDFS是分组管理的，每个组存贮的数据一样，一个或者多个服务器组成的Tracker server可以控制多个组，组与组之间存贮的数据是不一样的。但是这个操作应该如何配置呢？我现在的Traker server 下面有控制了几台的Storage server 它配置是这样的：store_group=group2，如果我想把这个Tracker server 可控制多个组那么应该如何配置呢？是不是简单的store_group=group1就可以了？

A1: 在storage server上配置它要连接的tracker server，可以配置1个或多个。
组名在storage server上配置的。由storage server主动向tracker server报告其组名和存储空间等信息。

Q2、一些实际的问题：由于fastDFS的存贮特点，它组内的Store server 存贮的数据是一样的。那么如果我同组内的Store server 贮放的地方不一样，比如一台放在上海、一台放在广州、一台在深圳。我在存贮跟数据的时候它必须是要同步的，然后我存贮很大的数据或者并发有很多用户同时上传数据，那么各地方的数据同步肯定也就很大量了，如果机房是共享网络的时候，管理员看到你数据传输量那么大，把它的带宽都吃完了，那么肯定对我的服务器做限制或者什么的。我想问一下，如果是这种情况下，楼主有没有一些好的建议呢？或者能不能做得到每个Store server之间的同步能不能我设定一个时间来做呢？比如是深夜之类的？

A2: FastDFS早就支持同步时间段设置了。在storage.conf中设置参数sync_start_time和sync_end_time。

Q3、我想问一下，我怎看一台Store server 的硬盘存贮的大少呢？这样我才知道什么时候要加硬件了。还有一个问题，我看到一些DFS它的存贮是把一个数据来拆开存贮的，用户要下载的时候再把它结合在一起成了一个完整的文件下载，这样硬盘的利用就很高了，而且数据访问量也相对少很多。

A3: 直接使用FastDFS带的monitor程序：fdfs_monitor来查看storage状态。
文件分块存储会增加系统的复杂性。出于简洁考虑，FastDFS不支持文件分块存储。

作者: ouqz 时间: 2009-12-09 14:13
谢谢fish兄的回答~！
还想问一问，tracker server 不需要做相对的设置的吗？比台 storage server 1 设置 group 1；然后srotage server 2 设置 group 2，那tracker serer 不需要设置的吗？
在FastDFS_tracker.conf文件里面有个store_group=group***的设置的，这个是不是相对的增加就可以了？？

另外还想问一下，我有三台的storage server 我能不能其中两台的sync_start_time 跟sync_end_time=23:59为同一个时间，另外一个storage server 为另一个时间呢？

作者: happy_fish100 时间: 2009-12-09 15:33
标题: 回复 #5 ouqz 的帖子
>>还想问一问，tracker server 不需要做相对的设置的吗？比台 storage server 1 设置 group 1；然后srotage server 2 设置 group 2，那tracker serer 不需要设置的吗？

A：是的，tracker server上不需要设置，group信息由storage server报告给tracker。

>> 在FastDFS_tracker.conf文件里面有个store_group=group***的设置的，这个是不是相对的增加就可以了？？

A：tracker server配置的store_group是指文件上传到的group。
最多只能配置一个group。
只有当参数store_lookup=1 （specify group）时，store_group这个参数才有意义。

>>另外还想问一下，我有三台的storage server 我能不能其中两台的sync_start_time 跟sync_end_time=23:59为同一个时间，另外一个storage server 为另一个时间呢？

A: 可以的。

作者: ouqz 时间: 2009-12-09 16:11
不好意思fish兄，问了那么些低层次的问题~！并且谢谢你的回答~！
不过我还要问一些问题~~！

每个组里面的storage server 里面的硬件是不是要一至呢？如果storage server发现硬盘空间少了，要添加硬盘空间了，当系统加载了新硬盘后，storage server 能不能也同时的加载新的空间？

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)