免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3195 | 回复: 7
打印 上一主题 下一主题

[FastDFS] trunk文件无法删除的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-12-15 17:52 |只看该作者 |倒序浏览
你好,我使用的v3.04版本,我因为是存储海量的小文件,所以开启了trunk功能,参数配置如下:
use_trunk_file = false
slot_min_size = 256
slot_max_size = 16MB
trunk_file_size = 64MB
我上传文件,下载文件,删除每个上传的文件,都没有任何问题。
但是我把上传的文件全部删除完后,发现服务器上的trunk文件无法删除。依然占用着磁盘空间。
[root@hadoop 00]# ls
000001  000007  000013  000019  000025  000031  000037  000043  000049  000055
000002  000008  000014  000020  000026  000032  000038  000044  000050  000056
000003  000009  000015  000021  000027  000033  000039  000045  000051
请问作者,这些trunk文件用啥接口可以删除。我认为这是fastdfs的一个BUG,理论上我将trunk文件中保存的小文件全部删除完成后,fastdfs应该自动清除trunk文件。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
2 [报告]
发表于 2011-12-15 18:11 |只看该作者
回复 1# blackmetal

删除文件后,trunk文件中的对应的空间会释放的。下次再上传文件,就可以利用已经释放的空间。
即使一个trunk文件中的所有文件都已经被删除,该trunk文件也不会被物理删除掉。
但其空间是可以被利用的。

论坛徽章:
0
3 [报告]
发表于 2011-12-15 18:19 |只看该作者
但是我测试的结果是,这个trunk文件的数目在不停的增长。我就是使用test目录下面那个批量上传工具,第一上传了5110个文件,生成了20多个trunk文件,然后我将删除的文件全部删除掉,然后这20多个trunk文件依然在,我又将上次上传过的5110个文件批量上传了一遍。trunk文件数目增加到了50多个,然后我又将所有的上传文件全部删除。50多个trunk文件依然在,而且占用的空间也翻倍了。

论坛徽章:
0
4 [报告]
发表于 2011-12-15 18:21 |只看该作者
再问一下,我有没有办法知道trunk中的文件信息是否被真的删除了。是否后面再次上传的文件插入到了已有的空trunk文件中?

论坛徽章:
0
5 [报告]
发表于 2011-12-16 10:31 |只看该作者
测试过程中发现:
Group 1:
group name = group1
disk free space = 115 GB
trunk free space = 2 GB
storage server count = 1
active server count = 1
storage server port = 23000
storage HTTP port = 8888
store path count = 1
subdir count per path = 32
current write server index = 0
current trunk file id = 140
其中“current trunk file id = 140”值在上传文件的过程中一直在增大,理论上来说,如果trunk文件内容被删除后,新上传文件如果插入到了空的trunk文件中的话,这个值应该不会成倍的增加才对呀,因为我每次都是上传5110个文件,然后将其删除,然后再重新上传。每次上传的文件都是一样的。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
6 [报告]
发表于 2011-12-16 15:19 |只看该作者
回复 5# yangchun981

这个现象和trunk内文件空间分配策略有关。
目前的分配策略,会导致释放后的空间,不能被同样大小的文件使用,而只能被小一些的文件使用。

论坛徽章:
0
7 [报告]
发表于 2011-12-16 17:30 |只看该作者
你好,happy_fish100, 我现在安装了两台tracker服务器,使用php client进行数据传送。
我想问一下:fastdfs_client.ini配置文件中
#tracker集群数目(通常配置为1即可)
fastdfs_client.tracker_group_count = 2
#设置client配置文件,配置tracker server即可
fastdfs_client.tracker_group0 = /home/yuqing/fastdfs/conf/client.conf
fastdfs_client.tracker_group1 = /home/yuqing/fastdfs/conf/client.conf
其中fastdfs_client.tracker_group_count需要配置成1,还是配置成2 ?如果配置成1的话,client.conf中需要配置两台tracker还是配置一台tracker?如果配置成2,那么client.conf又要如何配置?
配置成2和配置成1有啥差异,请给予指导。谢谢。

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
8 [报告]
发表于 2011-12-16 17:39 |只看该作者
回复 7# yangchun981

只有一个集群,fastdfs_client.tracker_group_count应该配置为1。
在client.conf中,将tracker_server这个参数配置两行即可!
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP