免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2437 | 回复: 7
打印 上一主题 下一主题

[FastDFS] 关于 v1.21 的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-09-29 18:11 |只看该作者 |倒序浏览
今天在ubuntu server 9.04 上测试v1.21 ,  经过多次确定,发现一个问题

服务器端没有回收内存 。
整个服务器就做一件事情:接收客户端上传的文件。
发现物理内存 free项 的数字不断的在减少,并没有增加,连续上传4个小时候后,内存耗尽,客户端异常退出了

就算用测试代码 "fdfs_test my.conf upload test.mp3"   单次测试后,内存减少200k 左右
然后停止所有,观察,没有任何恢复迹象,再次调用测试代码,又少100k多,又观察,还是没有回收,
以前用笔记本调试 1.20的时候都有回收,内存是不停的在变化的

想请斑竹确认下,问题出在那里,我客户端用的java ,而且客户端也调用了trackerServer.close();
是不是客户端还需要调用什么释放代码呢?

论坛徽章:
0
2 [报告]
发表于 2009-09-29 18:16 |只看该作者
另外,在 tracker.logs 里出现大量一下的错误代码,也请斑竹帮忙看下:

[2009-09-29 17:49:24] DEBUG - file: tracker_service.c, line: 1998, client ip: 192.168.0.22, recv data fail, errno: 107, error info: Transport endpoint is not connected

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
3 [报告]
发表于 2009-09-29 20:10 |只看该作者

回复 #1 Jney402 的帖子

通过top命令看系统整体的free内存,并没有多少参考价值。

要看一个进程有没有内存泄露,通过ps来看其占用的内存有没有持续增加而没有减少的情况。
比如:
ps auxww | grep fdfs

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
4 [报告]
发表于 2009-09-29 20:12 |只看该作者

回复 #1 Jney402 的帖子

客户端并发量是多少呢?
以前有人报告过此类问题的,都是因为客户端负载太高引起的网络超时异常。

论坛徽章:
0
5 [报告]
发表于 2009-09-30 08:46 |只看该作者
1. 我是单进程,不是压力测试

2. 用 ps auxww | grep fdfs 命令察看得到一下结果

USER    PID    %CPU %MEM    VSZ        RSS TTY      STAT START   TIME COMMAND
root      2825  0.0     0.3     2116956    3024 ?        Sl     08:05    0:00 fdfs_trackerd tracker.conf
root      3088  0.0     0.3     2125652    3620 ?        Sl     08:05    0:00 fdfs_storaged storage.conf
root      3930  0.0     0.0     3544          792 pts/0    S+   08:38    0:00 grep fdfs

但是每当我调用客户端上传文件的时候
root      3088  0.0     0.3     2125652    3620 ?        Sl     08:05    0:00 fdfs_storaged storage.conf
里的 3620 这个值,会一直增加, 我查了下RSS这个值,就是实际占用内存(k)  说明storaged 占用的内存在一直增加
我想所以我看到的总内存也在一直增加,这样如果一直运行

但是,下载文件的时候却不会增加,所有内存占用值没有任何变化

论坛徽章:
0
6 [报告]
发表于 2009-09-30 08:52 |只看该作者
删除文件的时候,也会出现以上现象,storage 的 rss值增加,停止所有的进程,观察一段施加,也并没有任何减少

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
7 [报告]
发表于 2009-09-30 09:01 |只看该作者

回复 #5 Jney402 的帖子

因为采用了多线程模型,只有运行一段时间后,占用的内存才会保持稳定。
不能看一开始的内存占用,这个没有多大参考意义。

论坛徽章:
0
8 [报告]
发表于 2009-09-30 09:32 |只看该作者
其实我也知道这个道理,就是有点担心资源耗用太高
只要斑竹确定没问题就行,而且也有公司在使用这个架构了,所以,我还是相信 fastdfs 的
那再观察一段时间吧

谢谢斑竹的回复,有问题的时候再咨询
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP