论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2014-09-01 16:41 |只看该作者 |倒序浏览

版主，我们现在考虑做FastDFS的异地IDC容灾，使用的是trunk文件，目前有两种方案，请帮忙回答一下下面的问题。
1. 一种是写程序定期同步新增的trunk文件和dat文件，但如果trunk文件中产生了小文件的删除和新增，则需要重传trunk块。问下目前有没有配置可以使得旧trunk块中的小文件被删除后，新的文件只在新的trunk中存，不在旧的中存？
2. 另一种是把异地的storage加到同一个组里，依靠FastDFS自身的binlong进行同步。为了使得异地storage完全不参与上传，是否可以利用upload_priority参数实现？另外，如果想实现主机房故障以后的failover，是故障后在异地机房新起一个tracker好还是初期部署的时候就在异地部署一个同等的tracker好？

文库|博客

ruochen

版主

论坛徽章:: 8

2楼 [报告]

发表于 2014-09-09 20:07 |只看该作者

本帖最后由 ruochen 于 2014-09-09 20:08 编辑

期待详解

容灾机房异地同步storage完全后也不参与写，只做同步
做机房迁移和容灾机房的时候这个很有用

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

harchiko

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2014-09-10 16:05 |只看该作者

同期待详解，估计这个应该直接使用第三方吧。FASTDFS好像没做类似的考虑？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

wangshuaiatwork

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2014-09-10 18:30 |只看该作者

1. 根据测试，发现trunk这种方式异地容灾恢复时由于肯定会出现trunk server漂移，所以可能会出现文件互相覆盖丢失的现象，使用普通的小文件理论上不会出现文件丢失的情况。
2. 目前的fastdfs配置还无法提供同等优先级间的storage轮询上传的功能，所以如果想要实现在一个组里只在主环境的storage上传、下载，备环境的storage只同步，目前还无法实现，期待余大可以把这个点加到下个release。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

hermann.zhen

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2014-09-14 21:42 |只看该作者

最近我想用异地同组的storage server来做fastdfs，想实现一个类似CDN加速的效果，想法是上传的用户通过tracker选择一个就近的storage server上传文件，等待storage server之间进行复制，异地的用户访问文件时通过tracker来返回一个最近storage server给用户访问。
不知道这样是否可行有没有人这样做过，主要是不是很了解tracker是通过怎么样的规则或算法来选择storage server。