免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 7025 | 回复: 23

[FastDFS] FastDFS V4 需求收集 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-08-12 15:08 |显示全部楼层
本帖最后由 happy_fish100 于 2012-08-28 12:45 编辑

V3.x已经推出V3.11,目前比较稳定了。
接下来筹划V4的开发,请大家反馈V4需要支持的功能特性。

我想到V4的一个特性:由管理员定义storage server id,而不是目前直接使用ip地址的方式。
目前用ip地址来识别storage server,主要的问题是IP地址修改后,集群需要做相应的调整。
尽管早已经支持ip修改后自动调整,但同时修改一个集群的多个storage server ip地址时,还会存在不能自动调整过来的问题。

V4中的server id,我的设想是在tracker中统一管理,这样就不需要在storage server上逐个配置了。
欢迎大家踊跃反馈,谢谢!

V4除了实现上述特性外,收集到并决定在V4.00中实现的功能列表:
  1. storage server访问access log,缺省关闭
  2. 增加预留空间百分比设置,而不仅仅是指定4GB这样的固定大小

论坛徽章:
0
发表于 2012-08-12 17:23 |显示全部楼层
建议FDFS中可以自定义目录名、文件名。

目前我们的系统是这样的:
1、文件系统中,目录、文件名是客户端指定的,可自由修改的。
2、数据库中,记录且仅记录文件名(文件名中记录着一切元数据信息)。

设计系统时,就是为了使文件名不要和具体路径绑定,增加灵活性,才没有使用不支持自定义目录、文件名的DFS。

但是,针对小文件,FASTDFS应该是不错的,由于以上原因,无法在现有系统上迁移到FASTDFS。

相信有我们需求的用户,应该有不少,请余兄慎重考虑一下!

最后,非常看好FASTDFS和感谢其在DFS解决方案上作出的卓越贡献!

论坛徽章:
0
发表于 2012-08-14 09:53 |显示全部楼层
v4 期望功能

1. 能提供文件訪問紀錄 ( 至少有個 info level可以選用 )

2. Tracker 能夠結合 FastDHT ,最近再處理上百萬個檔案時,對於檔案名稱真的有點頭痛

3. 跳換儲存路徑資料夾 能夠設定成指定時間跳換 如 1月1日 用 00/00 1月2日 用 00/01

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-08-14 11:26 |显示全部楼层
回复 3# kevin5251984

第一条是access log,这个可以支持。
通过一个参数来控制是否需要需要记录access log好了。

第二条还是应用端自己想办法搞定吧。目前已经提供了my-fastdfs-client来支持应用端指定文件ID。

第三条会破坏FastDFS的文件ID框架,如果要支持类似特性,难度较大。

论坛徽章:
0
发表于 2012-08-14 11:34 |显示全部楼层
痛哭流涕!!! 感謝余慶大哥的回應

另外,期望能夠重啟 .NET Client API 的計畫

打算用在內部軟件的開發

非常感謝  

论坛徽章:
0
发表于 2012-08-14 11:43 |显示全部楼层
余慶大哥您好,想跟您詢問關於 fastDFS 在大量刪除資料時
有怎樣子的解決方案呢?

不好意思 一次問了兩個問題

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-08-14 11:50 |显示全部楼层
本帖最后由 happy_fish100 于 2012-08-14 11:57 编辑

回复 5# kevin5251984

已经有人提供了.NET的API,我给上传到google code好了。
下载地址:http://code.google.com/p/fastdfs/downloads/list
download list的最后一项"FastDFS .NET Client source code"

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2012-08-14 11:58 |显示全部楼层
kevin5251984 发表于 2012-08-14 11:43
余慶大哥您好,想跟您詢問關於 fastDFS 在大量刪除資料時
有怎樣子的解決方案呢?

目前只能通过API逐个文件删除。

论坛徽章:
0
发表于 2012-08-14 13:40 |显示全部楼层
余慶大哥您好, 延續Kevin的問題, 有幾點須再向您請教:
1. .Net Client API sample for download file, 為何都沒先詢問Tracker該由哪個Storage node來下載?而是Client直接指定node?
     e.g., FastDFSClient.DownloadFile(node, fileName, 0L,0L)
2. 與透過Http download file的差別是? Client採哪種方式較好?
3. 透過API刪除過期大量文件(每天avg有百萬筆文件新增/刪除, 保留1 year資料預計10TB, 8 billion files in one group/2 nodes), 是否造成IO loading !! 因為Storage支援multiple paths, 且可設定儲存目錄下的檔案數, 若切割多個disk volume, 屆時整個format是否更快?! 不知該想法是否可行? 是否導致FastDFS系統異常? 是否有業界經驗可參考?

论坛徽章:
0
发表于 2012-08-15 11:29 |显示全部楼层
希望版主在监控方面提供更多些API,比如每天上传的总共次数以及每天总上传大小等
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP