>>>>>>关于FastDFS的监控问题

njxuyj

搭建了一组fastdfs环境,1台tracker server ,2组storage server,其中分别有2台组成一个组

现在就是监控很麻烦,版主有没有一个好的整体监控方案?现在似乎只能监空storage的信息,有没有一个全局的监控,包括tracker server?

[ 本帖最后由 njxuyj 于 2009-12-18 15:11 编辑 ]

happy_fish100

storage server的状态信息通过tracker server返回的。
只有在tracker server服务正常的情况下，才会成功返回storage server相关信息。
如果要监控服务是否正常，可以采用端口监控？

njxuyj

这两天对fastdfs做了一个压力测试,测试环境、测试数据和happy_fish100  的那个环境基本一样,只是的测试客户端的机器性能一般普通PC.
光上传数据已经跑了2天半了，到今天为止还没跑完，我会间隔的去combine_result
发现QPS越来越小，从一开始的44到现在的29
而且IO Speed也是越来越小，从一开始的8M到现在的3M
请问版主这个正常吗？能说明一个什么问题？

happy_fish100

速度持续下降么？
测试完成后，你看一下最后的结果和最初的有什么差异没有？

njxuyj

最终结果如下:
1. Upload：
total_count=5057300, success_count=5057300, success ratio: 100.00% time_used=254378s, avg time used: 50ms, QPS=19.88
file_type total_count success_count time_used(s) avg(ms) QPS success_ratio
5K        1199910      1199910         3151      2             380.80            100.00
50K      2402298      2402298         9509      3             252.63            100.00
200K   1201144       1201144         9132      7             131.53             100.00
1M       241289         241289          11105    46            21.73              100.00
10M     23471           23471            24605    1048        0.95                100.00
100M   1288             1288              191531  148704    0.01                100.00

IO speed = 3874 KB
ip_addr  total_count success_count time_used(s) avg(ms) QPS success_ratio
xxxxxxxxx.97 1271774 1271774 60439 47 21.04 100.00
xxxxxxxxx.98 1271796 1271796 61917 48 20.55 100.00
xxxxxxxxx.95 1262919 1262919 63564 50 19.87 100.00
xxxxxxxxx.96 1261911 1261911 63115 49 20.01 100.00

一开始的时候IO speed达到9836K,QPS=44.01
现在是极度下降


我测试机的配置如下:
客户端脚本测试机配置比较差 Intel (R) Celeron(R) 1.70GHZ        硬盘80G
tracker和storage配置信息均是 Pentinum (R) Dual_Core CPU E5300  2.60GHZ   硬盘1T

[ 本帖最后由 njxuyj 于 2009-12-24 09:40 编辑 ]

happy_fish100

会不会是磁盘写缓存的原因？一开始磁盘写缓冲有个逐步写满的过程，这个过程中，IO速度是比较高的。随着缓冲写满，IO速度就稳定下来了。
大家发布一下自己的看法。

njxuyj

今天又测试了一下,开启3个进程,跑了大概2W多数据,发现IO speed达到219836,与上次大数据量的测试IO快多了,这是不是意味着随着数据量的增加,性能就急剧下降呢??????????

happy_fish100

用fastdfs自带的test程序测试的么？

njxuyj

原帖由 happy_fish100 于 2010-1-3 19:47 发表
用fastdfs自带的test程序测试的么？

就是用的你1.23里提供的测试程序跑的.这种IO速度下降是因为并发多还是数据量变大导致的呢?