忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 91064 | 回复: 57

[FastDFS] FastDFS一个高效的分布式文件系统 [复制链接]

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43ChinaUnix元老
日期:2015-01-30 15:14:07
发表于 2009-02-18 15:42 |显示全部楼层
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。

存储节点存储文件,完成文件管理的所有功能:存储、同步和提供存取接口,FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key valuepair)方式表示,如:width=1024,其中的key为width,value为1024。文件metadata是文件属性列表,可以包含多个键值对。

FastDFS系统结构如下图所示:


跟踪器和存储节点都可以由一台多台服务器构成。跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务。其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。

为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量。
FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。

                               FastDFS file upload
上传文件交互过程:
1. client询问tracker上传到的storage,不需要附加参数;
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件上传。


                         FastDFS file download
下载文件交互过程:
1. client询问tracker下载文件的storage,参数为文件标识(卷名和文件名);
2. tracker返回一台可用的storage;
3. client直接和storage通讯完成文件下载。

需要说明的是,client为使用FastDFS服务的调用方,client也应该是一台服务器,它对tracker和storage的调用均为服务器间的调用。

google code地址:http://code.google.com/p/fastdfs/
google code下载地址:http://code.google.com/p/fastdfs/downloads/list

论坛徽章:
0
发表于 2009-02-18 18:35 |显示全部楼层
这个原来是在 C 版的东西吧?
为什么不请原作者来做版主呢?

论坛徽章:
0
发表于 2009-02-18 20:33 |显示全部楼层
原帖由 swordfish.cn 于 2009-2-18 18:35 发表
这个原来是在 C 版的东西吧?
为什么不请原作者来做版主呢?

支持这个建议

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-02-19 10:15 |显示全部楼层

回复 #3 kns1024wh 的帖子

谢谢大家的支持,正在申请中,很快可以申请下来。

论坛徽章:
0
发表于 2009-03-05 11:17 |显示全部楼层

回复 #4 happy_fish100 的帖子

刚刚看到,问一下tracker   storage  client之间的通讯是基于socket的吧,没有用rpc吧。对这个不太了解,问一下,这个用socket好些还是rpc好些,gfs用的是什么呢。还有yahoo的那个分布式文件系统的站怎么上不了了啊。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-03-05 16:35 |显示全部楼层
原帖由 cskyrain 于 2009-3-5 11:17 发表
刚刚看到,问一下tracker   storage  client之间的通讯是基于socket的吧,没有用rpc吧。对这个不太了解,问一下,这个用socket好些还是rpc好些,gfs用的是什么呢。还有yahoo的那个分布式文件系统的站怎么上不了 ...


使用rpc需要遵循RPC协议标准,使用socket可以自己定义通信协议,这样效率和灵活性都更好。
我对gfs了解不多,你可以查阅一下相关文档。
雅虎的站长天下已经下线了,相关的文章和帖子都已经迁移到了本论坛。

论坛徽章:
0
发表于 2009-03-14 03:43 |显示全部楼层
如果我只想单纯的实现文件同步功能,从一台机器同步到另外一台机器,可否实现?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-03-14 13:41 |显示全部楼层
原帖由 sopato 于 2009-3-14 03:43 发表
如果我只想单纯的实现文件同步功能,从一台机器同步到另外一台机器,可否实现?


FastDFS是一个文件存储服务,文件同步只是它的一个功能,不能拆分出来的。
你可以使用rsync、scp之类的同步命令(工具)。

论坛徽章:
0
发表于 2009-03-28 07:54 |显示全部楼层
原帖由 cskyrain 于 2009-3-5 11:17 发表
刚刚看到,问一下tracker   storage  client之间的通讯是基于socket的吧,没有用rpc吧。对这个不太了解,问一下,这个用socket好些还是rpc好些,gfs用的是什么呢。还有yahoo的那个分布式文件系统的站怎么上不了 ...



坚决抵制使用rpc的方式。。。。。。。。。。。

论坛徽章:
0
发表于 2009-04-23 10:07 |显示全部楼层

回复 #1 Send_linux 的帖子

单个tracker的性能怎样,支持多少并发,如何做到的?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP