免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4747 | 回复: 2
打印 上一主题 下一主题

[FastDFS] hi,版主:请教几个FastDFS相关的问题。 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-04-19 13:44 |只看该作者 |倒序浏览
Hi,happy_fish

目前正在学习FastDFS方面的资料,有几个疑惑

1. FastDFS 目前支持续传吗?
就几个协议接口命令来看,我对以下几个命令的理解,是否妥当:
STORAGE_PROTO_CMD_UPLOAD_APPENDER_FILE: 是针对数据文件,上传对应的目录索引,参考文件就是Appender文件
STORAGE_PROTO_CMD_APPEND_FILE:断点续传,附加在原来为上传完全的文件后面
STORAGE_PROTO_CMD_UPLOAD_SLAVE_FILE:内容分发,分到次中心。

fastdfs不支持文件分块存储,是否支持Client把大文件分成几块,多个连接上传,然后server 将分块的内容merge成一个文件?

2。现在做测试,发现上传有的文件时,除了更换名字的数据文件外,还有自动生成meta文件,有的还生成slave文件,以及link文件,请问这有
什么创建规则吗?
link文件应该就是linux软链接,是否跟g_check_file_duplicate这个配置项有关系? 需要安装FastDHT,link文件才有用吗?

3。数据文件上传时,名字根据Base64/PJW更改,依据round_robin 还是random模式命名规则不同,更改名字的算法初衷是?
同一个文件可以上传多次,名字不同,可能分布在不同的Storage/Group上,到时客户来取文件时,具体要取哪个呢? 是否需要建立源文件名---更改名字存储后的对应关系数据库?

4。如果一个组按照如下模式:
  只有一个storage在线,另外一个作为离线备份storage,在某个时段进行备份,
1)这样对用户访问是否存在单点故障?
2)这个备份storage是否跟在线storage一样的配置文件?或增加主备标志,在备份完毕,由tracker来shutdown备份机器

5。新增tracker,由于storage不知道有增加tracker,是否需要修改storage的tracker配置,然后重启storage。

6。对于文件系统的选择,目前用ext4是否为标准文件系统? 有没有你认为值得推荐使用的文件系统?
如果文件比较小,数目很多,我需要配置多个store_path0--N,每个目录可放置文件数目设置足够大?

7。对于storage增加磁盘阵列的磁盘空间,需要重启linux、storage吧?因为要重新mount。。 right?


问了这么多,有点乱,希望得到大侠的解答。谢谢啊。。。。不胜感激。

论坛徽章:
0
2 [报告]
发表于 2011-04-19 14:08 |只看该作者
自顶一下。 版主有Email联系方式吗? 能谈谈么?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
3 [报告]
发表于 2011-04-26 09:53 |只看该作者
回复 1# cresting


Hi,happy_fish

目前正在学习FastDFS方面的资料,有几个疑惑

1. FastDFS 目前支持续传吗?
A:FastDFS不支持断点续传,这个要应用端来实现。

就几个协议接口命令来看,我对以下几个命令的理解,是否妥当:
STORAGE_PROTO_CMD_UPLOAD_APPENDER_FILE: 是针对数据文件,上传对应的目录索引,参考文件就是Appender文件
STORAGE_PROTO_CMD_APPEND_FILE:断点续传,附加在原来为上传完全的文件后面
STORAGE_PROTO_CMD_UPLOAD_SLAVE_FILE:内容分发,分到次中心。

A:前面两个协议命令,理解完全正确。
最后一个,是用于上传从文件的。什么是主从文件,看一下最新的PPT文档,应该就清楚了。


fastdfs不支持文件分块存储,是否支持Client把大文件分成几块,多个连接上传,然后server 将分块的内容merge成一个文件?
A:均不支持。

2。现在做测试,发现上传有的文件时,除了更换名字的数据文件外,还有自动生成meta文件,有的还生成slave文件,以及link文件,请问这有
什么创建规则吗?
A:这个是test程序惹的祸,置顶的FAQ中已经有说明了。

link文件应该就是linux软链接,是否跟g_check_file_duplicate这个配置项有关系? 需要安装FastDHT,link文件才有用吗?
A:目前从文件也是采用link方式。从文件和文件内容是否去重无关。
     采用相同文件内容去重机制,需要部署FastDHT。后面上传的文件,如果已经存在相同内容的文件,则采用符号连接的方式,指向原始文件。

3。数据文件上传时,名字根据Base64/PJW更改,依据round_robin 还是random模式命名规则不同,更改名字的算法初衷是?
A:命名规则是一致的。这个LZ可能误解了。

同一个文件可以上传多次,名字不同,可能分布在不同的Storage/Group上,到时客户来取文件时,具体要取哪个呢? 是否需要建立源文件名---更改名字存储后的对应关系数据库?
A:是的,这个是必需的。必需在应用端保存FastDFS返回的文件ID。

4。如果一个组按照如下模式:
  只有一个storage在线,另外一个作为离线备份storage,在某个时段进行备份,
1)这样对用户访问是否存在单点故障?
2)这个备份storage是否跟在线storage一样的配置文件?或增加主备标志,在备份完毕,由tracker来shutdown备份机器

A:不建议采用这种部署方案。
应该两台storage server都提供在线服务。
建议LZ仔细看一下最新的PPT。

5。新增tracker,由于storage不知道有增加tracker,是否需要修改storage的tracker配置,然后重启storage。
A:是的,修改storage server配置文件后,必需重启所有storage server。

6。对于文件系统的选择,目前用ext4是否为标准文件系统? 有没有你认为值得推荐使用的文件系统?
A:目前ext3仍然是Linux主流文件系统。相信ext4会逐渐成为主流。

如果文件比较小,数目很多,我需要配置多个store_path0--N,每个目录可放置文件数目设置足够大?
A:FastDFS不会限制单个目录下存放的文件数。
     可能是storage.conf中file_distribute_rotate_count=100这个参数误导你了。
     这个参数是说,按顺序存储时,每写N个文件,就轮转到下一个目录。
     写到最后一个目录,当写完N个文件时,会轮转到第一个目录重新开始。

7。对于storage增加磁盘阵列的磁盘空间,需要重启linux、storage吧?因为要重新mount。。 right?
A:如果你能做到不down机加磁盘,并实现mount,就不需要重启storage server。前提是你做了RAID,把所有磁盘当一个mount point使用。
     在FastDFS中,不推荐采用RAID,直接把单盘作为一个mount point使用,这样磁盘IO效率最高。如果是这样,那肯定需要修改storage.conf,并重启storage进程。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP