免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › 内核源码 › mmap写入过快，导致机器负载过高corrupt的问题描述

最近访问板块

发新帖

查看: 1838 | 回复: 7

上一主题

下一主题

[内存管理] mmap写入过快，导致机器负载过高corrupt的问题描述 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-05-21 11:06 |只看该作者 |倒序浏览

我有2000个文件，需要对这些文件进行追加写和随机读；
然后mmap每个文件（部分mmap，每个文件mmap1M追加写），然后写入速度可以达到200M；
性能很满意；

但是现在发现一个很诡异的问题，当写文件到达40G以上的时候，机器load就突然从7升到20左右，然后就动不了了~
谁有经验，多谢~

文库|博客

论坛徽章:: 16

2015亚冠之吉达阿赫利
日期:2015-08-17 11:21:46

2015年迎新春徽章
日期:2015-03-04 09:58:11

酉鸡
日期:2014-12-07 09:06:19

水瓶座
日期:2014-11-04 14:23:29

天秤座
日期:2014-03-02 08:57:52

双鱼座
日期:2014-02-22 13:07:56

午马
日期:2014-02-14 11:08:18

双鱼座
日期:2014-02-13 11:09:37

卯兔
日期:2014-02-06 15:10:34

子鼠
日期:2014-01-20 14:48:19

戌狗
日期:2013-12-19 09:37:46

射手座
日期:2013-12-19 09:33:47

2楼 [报告]

发表于 2012-05-21 11:08 |只看该作者

不了解，问问fengguang 童鞋吧！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2012-05-21 11:20 |只看该作者

vmstat 1 看看。
据我的经验，必须是内存不足，猛用swap了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

天蝎座
日期:2013-10-23 21:11:03

4楼 [报告]

发表于 2012-05-21 15:20 |只看该作者

swap打开了没？
阶段性的sync一下看看会怎么样

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-05-21 17:11 |只看该作者

附件是详细的系统情况；
纳闷了，为什么load那么高！

然后机器动不了

2.png (7.73 KB, 下载次数: 47)

vmstat

vmstat

3.png (28.14 KB, 下载次数: 44)

top

top

QQ截图20120521170814.png (63.11 KB, 下载次数: 55)

iostat

iostat

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-05-21 17:13 |只看该作者

回复 4# openspace

使用msync的MS_ASYNC出现了如上问题，不msync，也会出来如上问题

如果使用MS_SYNC，那么单个请求的latency太长，业务受不了。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2012-05-21 17:16 |只看该作者

回复 2# embeddedlwp

坛子里混的少，不晓得fengguang 是哪位？
大侠现身~

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

天蝎座
日期:2013-10-23 21:11:03

8楼 [报告]

发表于 2012-05-22 14:18 |只看该作者

回复 7# zcs5612

   Wu Feng Guang
   Intel的内核大牛，可以搜一下精华区，有他的博士毕业论文
   好像专注于readahead和writeback

对于mmap的问题，taobao有个同学提到过他们的一个实验，可以看看是否跟你的问题有关
   http://donghao.org/2012/02/mmapauaeaayaooo.html

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › 内核源码 › mmap写入过快，导致机器负载过高corrupt的问题描述

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP