FastDFS分布式文件系统应用交流！赢取数据库技术大会门票！（获奖名单公布）

niao5929

GPLV3的就可以好好研究并应用一下。

happy_fish100

回复 38# mirnshi

>> 1. 看了一些介绍，如果组内有多台存储，似乎只能是存储1，其他都是备份
>>   a. 如果采用多组方式增加容量，是不是至少是双机方式增加（保证数据安全）？
A：对滴。至少要双机互备吧。
>>   b. 组的增减，是否影响到业务层？修改代码或者重新部署/启动？
A：增加group，不需要修改代码或者重新启动服务。
什么场合下会删除group呢，这个我还没有想到。

>> 2. 文件名路径映射
>>   假设用户上传存储了一个文件abc.txt，实际存储的是xxx
>>   那么映射关系是业务系统做，还是tracker做？
>>   如果是业务系统做，那么一旦业务系统的索引映射出现问题，实际存储的文件面临的是不可恢复，而且成为黑洞
>>   目前有无办法避免？
A：目前需要业务系统来保存文件ID映射关系。后续可以提供一个文件ID映射的包装，这样业务系统那边就轻松了。
   
>> 2. FastDFS如何报告硬件错误？比如某台存储下线或者磁盘故障？有监控程序吗？
A：FastDFS有文件读写状态统计，并提供了API。
可以自己写一个监控系统，通过FastDFS提供的API来得到文件操作状态（统计数字），以此判断系统是否工作正常。

>> 3. 海量小文件可以合并存储，这是否会影响效率，是抑制了并发还是提高了并发？
A：合并存储的主要目的是为了减少文件系统inode占用。相应地，随着文件数的降低，会提高系统的整体性能。
   
>> 4. FastDFS产生的垃圾文件，如果自身无法清除，那岂不是长期占用磁盘空间，有工具检测清除吗？或者可以手工删除？
>>   另外，FastDFS同步异常会产生垃圾文件吗？
A：只要不是在文件上传或同步过程中出现down机器的情况，均不会产生垃圾文件。

>> 5. FastDFS支持acl及quotas吗？
A：均不支持。

mirnshi

回复 42# happy_fish100

什么场合下会删除group呢，这个我还没有想到。

可能存在初期的存储配置较低，随着业务的增长可能需要替换下先前的设备。我猜测可行的方案是先增加一组高配，同步数据后再剔除早先的设备。

A：目前需要业务系统来保存文件ID映射关系。后续可以提供一个文件ID映射的包装，这样业务系统那边就轻松了。

这个其实可以简单的用BerkeleyDB，就是一个kv对。从易用性上，FS实现是最好的了

A：合并存储的主要目的是为了减少文件系统inode占用。相应地，随着文件数的降低，会提高系统的整体性能。

其实如果支持小文件合并成大文件存储，那么对原FS的块大小最好还是有推荐值，如果都是大文件了，提高块大小，会提高FS的访问，而且不会带来空间浪费，


   

xvhfeng

    话说现在fdfs已经到了v3的版本了，想当初哥选择使用fdfs的时候还是1.23版本！哥也算是先吃螃蟹的几个人了！
    当时公司因为某些原因就把图片给全部压到数据库了，这样随着业务量的上升，大概在2kw/day pv的时候终于倒下了，搞的我们dba整天都在叫不说，晚上也不能睡觉。那个时候我正好在刚刚成立的架构优化组，那就拿这个开刀吧！当时供选择的也有几个，mfs等等都在选择之列。后来我们每个都看了一下，发现mfs需要mysql，而且当时的mysql还是单点，哥担心公司当时没有mysql的dba到时候又搞不定，所以就去看了fdfs！开始测试的第一个版本是v1.21,我好像有点记得，当时nnd那个fish写的版本线程好像还不安全，刚测试几个就挂了，搞的哥一肚子火。后来过了2个星期，我发现fish更新了1.23版本的，看了一下history，好像支持线程安全了，就下载了使用了一下,终于不死了,nnd!然后问题也接着出现了,我们使用的是c#,但是没见fdfs的net版本客户端,哥那个急啊!抱着试试看的态度去找fish,mail,留言啥都用上了,终于在一个阳光明媚的日子了看大了fish那大爷的回复!后来又拿到了fish的联系qq,msn.正式开始fdfs的使用之路!(担心有字数限制,下接)

xvhfeng

    (上接)和fish的接触过程中,都是很愉快的.fish这个人也挺好相处,除了有点"贪恋plmm"外,没啥别的癖好!哥为了弄好fdfs也算是豁出去了,直接把哥本人收藏的网址毫无保留的给了fish(@fish,网址过期了联系哥!)!然后再和fish开始"谈感情",嘿嘿!上面说到没有net的客户端,哥直接问fish,能不能给哥整一个,得到的答复是:哥不会c#!当时那个绝望啊?内心无比复杂,比tmd看见心爱的女人-苍老师日常工作还要复杂.不过fish够意思,候补了一句:我给你写协议,net的客户端你搞一个!当时哥在linux就是tmd一纯种的菜鸟,菜鸟中的菜鸟啊!哎,不过迫于形势压力,不搞也不行啊!只能上了!让fish花点时间搞了一个协议文件(ps:nnd,那家伙也挺懒,先发了一个是啥版本的协议,让我先看着,他再整理一个,我估计他晚上看了我给的网站荷尔蒙分泌过多,但是那家伙还单身在杭州呢,lp不在身边,所以一个晚上就搞定了),拿到协议后开始写net版本的客户端,肯定有很多不明白的啊!我直接问fish,那家伙竟然和我说去看code,我当时c的水平就是啥都不懂,比菜鸟还菜鸟呢!那个心理啊?我真tmd想招呼他家人!不过还是忍住了!看就看吧,那杀千刀的家伙不告诉我也没辙,原本还想着那别的网站和他换,想想还是算了,家伙不告诉我,我也不告诉他网址!算是扯平!硬着头皮看了半个月的源码,外加不停的骚扰fish,包括半夜被我拉出来回答我不明白的地方!总算是有点头绪了,花了一点时间,写了一个c#的客户端,这个因该是fdfs最早的net客户端吧?后来我也把这个os了,fish好像加了链接吧?是吧,fish?!(下接)

xvhfeng

    (上接)话说客户端搞定后我们就开始测试了,当时v1.23版本的确实挺牛,配合我写的客户端,一分钟IO可以到4G,这样的速度已经可以满足大多数公司的需要了.看样子速度没啥问题了,稳定还是要测试的!我们下班的时候把测试程序打开,然后我们回家,第二天我们过来一看,硬盘满了,程序还在,没死!这样一连搞了几天,终于确定了fdfs确实可用.当时问题又来了,fdfs的原设计有点不太符合我们的业务需求,特别是没有按照时间管理图片,当时哥就联系fish让他给哥加一个功能!得到的答复竟然是不加!mlgbd,当时哥又要准备"开战骂娘"啊!可是迫于fish的"淫威"(他不加我还得改源码呢,源码还得他教我呢),哥还是有点识实务的,压住了!然后软磨硬泡的到fish那儿去套源码解释!唉,功夫不负有心人啊(不过关键可能fish快要被我折磨的崩溃了),在fish的指点下还是搞定了!然后我们开评审会,通过了使用fdfs!在评审会的时候,我们领导当听到我们要使用一个新的fdfs的时候,非常吃惊!(幸好当时我们留了一个心眼,没有告诉他这是一个非常新的软件,新到几乎我们是第一批使用的小白.).更万幸的是,fish也算是长脸的,那么长时间了,fdfs一次都没有掉过链子!只要我不让它down,fdfs就一直在哪里,从没down过!

xvhfeng

完了说,我在改写fdfs的过程中,也写了几篇(大概在15左右)blog,实在是有点多,也不方便贴,所以就本着技术不分网站的原因,我就贴一个我blog的地址吧!(ps:当然了,如果版主觉得不妥可以删除)
我写的关于dfs改造和使用dfs心得的blog: http://www.cnblogs.com/Seapeak/category/246072.html

send_linux

xvhfeng 发表于 2012-03-01 22:31
(上接)和fish的接触过程中,都是很愉快的.fish这个人也挺好相处,除了有点"贪恋plmm"外,没啥别的癖好:shu ...

这分享的，图文并茂啊，呵呵

orclover

回复 1# happy_fish100


    FastDFS非常好用！简单提几个问题：

1. 目前FastDFS事件循环采用libevent，根据网上说法，libev库更加高效，是否在今后可以考虑使用libev，以获得更高的性能。这个只是随便提提，感觉其实都可以。

2. 在调研和试用FastDFS过程中，面临的最大问题是老数据的迁移，如果有大量的数据需要迁移，就需要自己维护一套原始文件到新文件名的映射，而这就相当于在应用层引入了一套name server。不知道这方面有没有好的经验分享。

3. 不知道快乐鱼有没有考虑在FastDFS中加入计算模型。因为FastDFS简洁，高效，稳定。因为我很想拿FastDFS当Hadoop用。我对Hadoop也无太多了解，但知道hadoop本身支持类似map/reduce这样的计算模型，感觉如果FastDFS也能集成一些计算模型，无疑是FastDFS的幸事。

happy_fish100

回复 49# orclover

1. 目前FastDFS事件循环采用libevent，根据网上说法，libev库更加高效，是否在今后可以考虑使用libev，以获得更高的性能。这个只是随便提提，感觉其实都可以。

A：这个就不考虑更换了。

2. 在调研和试用FastDFS过程中，面临的最大问题是老数据的迁移，如果有大量的数据需要迁移，就需要自己维护一套原始文件到新文件名的映射，而这就相当于在应用层引入了一套name server。不知道这方面有没有好的经验分享。

A：可以将文件名映射存储到KV系统中。
前段时间本来打算包一层，应用端可以指定文件名（ID）的，后来一直没时间弄。

3. 不知道快乐鱼有没有考虑在FastDFS中加入计算模型。因为FastDFS简洁，高效，稳定。因为我很想拿FastDFS当Hadoop用。我对Hadoop也无太多了解，但知道hadoop本身支持类似map/reduce这样的计算模型，感觉如果FastDFS也能集成一些计算模型，无疑是FastDFS的幸事。

A：Hadoop已经很稳定和成熟了啊，就是比较重一些。
建议大家还是用hadoop吧。