FastDFS 4.08插入速度变得很慢

jiaomicha

如题，4.08，一个tracker, 5个group，每个group都是一台机器，运行了大概半个多月后插入数据的速率变得很慢（上传一个几兆的文件平均用大概两分钟）
使用client脚本上传的速率也只有2M/s，求解释啊

happy_fish100

磁盘要满了？

jiaomicha

回复 2# happy_fish100


    没有满，storage里边的配置是10%的reserve空间，但是那块硬盘只用了40%左右，所以应该不是这个问题

happy_fish100

看看tracker和storage服务器的负载情况呢？

jiaomicha

回复 4# happy_fish100


    tracker那台机器负载较轻，0.3左右；
    其他五台storage的机器的负载在2-5之间，这几台机器上都部署有hadoop，不过hadoop的性能并没有受到多大影响

happy_fish100

有使用合并存储特性嘛？

jiaomicha

回复 6# happy_fish100


    没有用trunk合并。
    和一个群里的童鞋聊了聊，后来发现tracker中的默认配置
# the method of selecting group to upload files
# 0: round robin
# 1: specify group
# 2: load balance, select the max free space group to upload file
store_lookup=2

是每次都选择有最大空闲空间的group上传。
我们的系统中后来就加了几个group，导致各个group之间的空闲空间相差很大，所以客户端每次总是连到了同一个group（我们每个group只有一个storage）
可能是这个原因导致该storage的TCP连接暴增，插入数据结束后又处于TIME_WAIT，其他客户端连接就有问题了。

现在改成了0轮询了。速度恢复正常。

问一个问题，如果现在开启trunk合并的话，只有这之后的文件上传才会合并吧？之前的都保持原样吗？

happy_fish100

是的。