免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5451 | 回复: 8

[FastDFS] >>>>>>关于FastDFS的监控问题 [复制链接]

论坛徽章:
0
发表于 2009-12-18 15:10 |显示全部楼层
搭建了一组fastdfs环境,1台tracker server ,2组storage server,其中分别有2台组成一个组

现在就是监控很麻烦,版主有没有一个好的整体监控方案?现在似乎只能监空storage的信息,有没有一个全局的监控,包括tracker server?

[ 本帖最后由 njxuyj 于 2009-12-18 15:11 编辑 ]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-12-20 21:14 |显示全部楼层

回复 #1 njxuyj 的帖子

storage server的状态信息通过tracker server返回的。
只有在tracker server服务正常的情况下,才会成功返回storage server相关信息。
如果要监控服务是否正常,可以采用端口监控?

论坛徽章:
0
发表于 2009-12-23 08:53 |显示全部楼层

回复 #2 happy_fish100 的帖子

这两天对fastdfs做了一个压力测试,测试环境、测试数据和happy_fish100  的那个环境基本一样,只是的测试客户端的机器性能一般普通PC.
光上传数据已经跑了2天半了,到今天为止还没跑完,我会间隔的去combine_result
发现QPS越来越小,从一开始的44到现在的29
而且IO Speed也是越来越小,从一开始的8M到现在的3M
请问版主这个正常吗?能说明一个什么问题?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-12-23 18:49 |显示全部楼层

回复 #3 njxuyj 的帖子

速度持续下降么?
测试完成后,你看一下最后的结果和最初的有什么差异没有?

论坛徽章:
0
发表于 2009-12-24 09:32 |显示全部楼层

回复 #4 happy_fish100 的帖子

最终结果如下:
1. Upload:
total_count=5057300, success_count=5057300, success ratio: 100.00% time_used=254378s, avg time used: 50ms, QPS=19.88
file_type total_count success_count time_used(s) avg(ms) QPS success_ratio
5K        1199910      1199910         3151      2             380.80            100.00
50K      2402298      2402298         9509      3             252.63            100.00
200K   1201144       1201144         9132      7             131.53             100.00
1M       241289         241289          11105    46            21.73              100.00
10M     23471           23471            24605    1048        0.95                100.00
100M   1288             1288              191531  148704    0.01                100.00

IO speed = 3874 KB
ip_addr  total_count success_count time_used(s) avg(ms) QPS success_ratio
xxxxxxxxx.97 1271774 1271774 60439 47 21.04 100.00
xxxxxxxxx.98 1271796 1271796 61917 48 20.55 100.00
xxxxxxxxx.95 1262919 1262919 63564 50 19.87 100.00
xxxxxxxxx.96 1261911 1261911 63115 49 20.01 100.00

一开始的时候IO speed达到9836K,QPS=44.01
现在是极度下降


我测试机的配置如下:
客户端脚本测试机配置比较差 Intel (R) Celeron(R) 1.70GHZ        硬盘80G
tracker和storage配置信息均是 Pentinum (R) Dual_Core CPU E5300  2.60GHZ   硬盘1T

[ 本帖最后由 njxuyj 于 2009-12-24 09:40 编辑 ]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2009-12-27 19:38 |显示全部楼层

回复 #5 njxuyj 的帖子

会不会是磁盘写缓存的原因?一开始磁盘写缓冲有个逐步写满的过程,这个过程中,IO速度是比较高的。随着缓冲写满,IO速度就稳定下来了。
大家发布一下自己的看法。

论坛徽章:
0
发表于 2009-12-28 15:34 |显示全部楼层

回复 #6 happy_fish100 的帖子

今天又测试了一下,开启3个进程,跑了大概2W多数据,发现IO speed达到219836,与上次大数据量的测试IO快多了,这是不是意味着随着数据量的增加,性能就急剧下降呢??????????

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2010-01-03 19:47 |显示全部楼层

回复 #1 njxuyj 的帖子

用fastdfs自带的test程序测试的么?

论坛徽章:
0
发表于 2010-01-04 09:47 |显示全部楼层
原帖由 happy_fish100 于 2010-1-3 19:47 发表
用fastdfs自带的test程序测试的么?



就是用的你1.23里提供的测试程序跑的.这种IO速度下降是因为并发多还是数据量变大导致的呢?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP