免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Send_linux

[FastDFS] FastDFS一个高效的分布式文件系统 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-06-01 12:29 |显示全部楼层

回复 #20 crastyl 的帖子

出于性能等考虑,必须通过FastDFS的API来对文件进行存取,不能mount使用。

论坛徽章:
0
发表于 2009-06-03 21:43 |显示全部楼层
一个组的容量为该组内服务器中的最小容量。


一个组的文件如果放不下了怎么办?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-06-04 09:12 |显示全部楼层

回复 #22 aficbl 的帖子

如果不是指定组的方式(固定存放在一个组),系统会自动挑选尚有剩余空间的组来存放文件。如果空间都满了,上传文件将会失败(返回错误号:ENOSPC)

论坛徽章:
0
发表于 2009-06-17 14:19 |显示全部楼层
支持!~ 都是英文啊

论坛徽章:
0
发表于 2009-06-29 12:01 |显示全部楼层
是否支持服务器跨地域分布? 指定文件跨地域备份?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-06-30 15:55 |显示全部楼层

回复 #25 bigplum 的帖子

可以的吧。
将不同地域的服务器放到同一个组中即可。

论坛徽章:
0
发表于 2009-07-07 17:07 |显示全部楼层
原帖由 Send_linux 于 2009-2-18 15:42 发表
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册 ...


你好,真的很佩服你,要是我也许很难有这样的毅力把这个东西写出来。
简单的了解了一下有几个问题请帮忙解答,多谢:

1>. 大文件(>500G)和很多小文件(<1K),的存放不知道怎么存放的。对于这两种极端情况部分怎么考虑。
大文件可以并发的读写吗?小文件如果也需要走同样的流程,那样当小文件相当多的时候是不是很慢很慢?
不知道对于这两种情况有什么好的做法,多谢!

2>. 对于文件的查找索引部分在那存放(Client or Tracker)?
如果在Client,Client下次再也不用了,那这部分空间怎么回收?
如果在Tracker,这样Tracker应该访问压力是很大的,怎么保证效率,怎么存储这部分索引信息。

多谢!

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-07-08 09:00 |显示全部楼层

回复 #27 oralib 的帖子

1>. 大文件(>500G)和很多小文件(<1K),的存放不知道怎么存放的。对于这两种极端情况部分怎么考虑。
> 大文件可以并发的读写吗?小文件如果也需要走同样的流程,那样当小文件相当多的时候是不是很慢很慢?
> 不知道对于这两种情况有什么好的做法,多谢!

都是按文件存放的。上传的一个文件就保存在一个实体文件中。
并发写目前还不支持。V1.19开始支持指定读取文件的偏移量(offset)及长度(bytes),这样针对大文件,就可以在客户端实现并发读了。


2>. 对于文件的查找索引部分在那存放(Client or Tracker)?
> 如果在Client,Client下次再也不用了,那这部分空间怎么回收?
> 如果在Tracker,这样Tracker应该访问压力是很大的,怎么保证效率,怎么存储这部分索引信息。

上传文件成功后,文件ID由storage server返回给客户端。文件ID中包括了分组、文件路径和文件名等信息,需要由客户端来保存文件ID。因此FastDFS 服务器端是不需要保存文件ID或索引等信息的。不再使用的文件(比如用户删除了自己的照片文件),应该由client调用delete file接口删除该文件。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-07-23 11:53 |显示全部楼层

FastDFS V1.19 stable版本发布!

Version 1.19  2009-07-23
* use poll instead of select in sockopt.c
* hash.c use chain impl by self
* use FastDHT 1.09 client code
* ini reader support HTTP protocol, conf file can be an url
* correct test dir compile error
* use non-block socket to increase network IO performance
* add cmd TRACKER_PROTO_CMD_SERVICE_QUERY_FETCH_ALL: query all storage servers
   from which the file can be dowloaded
* while (1) ... break; changed to do ... while (0);

论坛徽章:
0
发表于 2010-03-07 15:39 |显示全部楼层
不错啊!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP