免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3390 | 回复: 0

[其他DFS] FastCFS实战半年成长记 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2022-10-11 18:03 |显示全部楼层
    今年5月份A公司打算用FastCFS替换MooseFS,主要出于两点考虑:1. 国产化替代;2. FastCFS不存在单点问题,并且有作者提供支持,用起来更加省事和放心。A公司主要使用MooseFS作为后端存储跑qemu虚拟机,采用qcow2格式镜像文件。


    A公司对FastCFS进行了严格细致的测试,促进了FastCFS在可靠性、稳定性和性能方面的显著提升。在可靠性和稳定性提升方面,FastCFS发布了如下版本:
    6月15日 FastCFS V3.4 发布,引入选举节点,支持双活互备防脑裂,完全支持POSIX文件锁;
    7月26日 FastCFS V3.5 发布,支持多数派数据复制,在极端情况下也严格保证数据一致性;
    8月16日 FastCFS V3.5.1发布,写入数据过半数自适应,使用两副本也可以最大程度地保证数据一致性。


    FastCFS在性能方面和同类存储软件相比优势明显,我们一直引以为傲:2021年6月份发布的FastCFS V2.2,性能明显超越Ceph(使用SSD盘测试):顺序写是Ceph的6.x倍,顺序读是Ceph的2.x倍,随机写大约是Ceph的2倍。


    然而A公司在使用两块SATA盘的情况下,8月份做了FastCFS和MooseFS性能对比测试,颠覆了我们的认知。FastCFS的性能跑不上去,使得MooseFS的性能全面碾压FastCFS,我们引以为傲的顺序写性能也不行。这个测试结果激发了我们的斗志,历时3周,9月8日发布了FastCFS V3.6,文件读写性能大幅提升,写入性能明显反超MooseFS,读性能与MooseFS基本持平。改进前的V3.5及改进后的V3.6与MooseFS性能对比测试结果如下图(根据A公司提供的测试数据整理):

   在使用SATA盘的情况下,V3.6性能为何能做到如此巨幅的提升呢?下面就为你揭秘V3.6性能优化所做的主要工作:
  1. fstore server优化
    1)文件写支持异步落盘,以充分发挥磁盘写入能力;为了提升文件写入性能,fstore增加了一个配置参数 fsync_every_n_writes,默认值为0,表示不显式调用fsync。对于机械硬盘(如SATA盘),不调用fsync可以显著提升写入性能。
    2)文件读默认采用系统缓存,对于SATA盘或SAS盘可以显著提升读取性能。


  2. fuse client优化
    1)支持fuse选项writeback_cache,告诉Linux kernel是否启用合并写。开启这个选项,将迅猛提升连续写入小块数据(比如一次写入4KB)的性能。
    2)fuse.conf增加配置项kernel_cache,表示是否使用Linux kernel的文件缓存。开启这个选项,相当于在fuse客户端启用了文件缓存,在某些情况下将大幅提升文件读取性能。


    通过以上优化,V3.6的性能相比Ceph进一步拉开了距离,欢迎感兴趣的朋友进行对比测试。

    FastCFS当前版本为V3.6.2,支持百亿级文件的fdir存储引擎插件可用于生产环境,欢迎大家测试和使用。



您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP