[内存管理] linux内存使用过高的原因？ [复制链接]

论坛徽章:: 0

2楼 [报告]

发表于 2013-05-23 09:12 |只看该作者

linux 内存管理机制跟 windows 不一样，为了提高系统运行效率，linux会把数据缓存在内存中，而不是立即释放掉

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lovegq

论坛徽章:: 0

3楼 [报告]

发表于 2013-05-23 09:16 |只看该作者

free -m 看看一般都是 page cache

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2013-05-23 13:27 |只看该作者

本帖最后由 xtlx2000 于 2013-05-23 13:56 编辑

图1中有cache的值（内存高占用的时候图中绿色cache大概80MB，浅绿色buffer大概20MB，700MB的used - buffer - cache依然还有600MB的真实使用），不是cache和buffer的问题，求大牛解答

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

cerry_king

论坛徽章:: 0

5楼 [报告]

发表于 2013-05-23 21:38 |只看该作者

cat /proc/meminfo,检查下哪个项增加比较快，然后再进一步分析。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2013-05-23 22:31 |只看该作者

本帖最后由 xtlx2000 于 2013-05-23 23:42 编辑

rss swap buffer cache pagetable slabinfo检查了个遍，rss pagetable slabinfo=总共才46.2822MB，那几百MB的内存到底谁在用？？？

求内存管理大牛

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lovegq

论坛徽章:: 0

7楼 [报告]

发表于 2013-05-23 23:53 |只看该作者

本帖最后由 lovegq 于 2013-05-23 23:56 编辑

hugepage?
如果配了 hugepage ，hugepage部分的内存就占了

cat /proc/meminfo # 贴图出来

cat /proc/sys/vm/nr_hugepages # 为0么?

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2013-05-24 00:17 |只看该作者

本帖最后由 xtlx2000 于 2013-05-24 00:19 编辑

回复 7# lovegq

没配hugepages
root@h2:~# cat /proc/sys/vm/nr_hugepages
0
root@h2:~#

root@h2:~# cat /proc/meminfo
MemTotal:       1026856 kB
MemFree:       293760 kB
Buffers:          23628 kB
Cached:          43448 kB
SwapCached:          0 kB
Active:          35604 kB
Inactive:       46060 kB
Active(anon):    14604 kB
Inactive(anon):    208 kB
Active(file):    21000 kB
Inactive(file): 45852 kB
Unevictable:          0 kB
Mlocked:             0 kB
HighTotal:       135112 kB
HighFree:          1776 kB
LowTotal:       891744 kB
LowFree:       291984 kB
SwapTotal:    1046524 kB
SwapFree:       1046524 kB
Dirty:                0 kB
Writeback:          0 kB
AnonPages:       14480 kB
Mapped:          8824 kB
Shmem:             228 kB
Slab:             13836 kB
SReclaimable:    7116 kB
SUnreclaim:       6720 kB
KernelStack:       608 kB
PageTables:       556 kB
NFS_Unstable:       0 kB
Bounce:             0 kB
WritebackTmp:       0 kB
CommitLimit:    1559952 kB
Committed_AS:    66560 kB
VmallocTotal:    122880 kB
VmallocUsed:       1996 kB
VmallocChunk:    120564 kB
HardwareCorrupted:    0 kB
AnonHugePages:       0 kB
HugePages_Total:    0
HugePages_Free:       0
HugePages_Rsvd:       0
HugePages_Surp:       0
Hugepagesize:    2048 kB
DirectMap4k:    12280 kB
DirectMap2M:    901120 kB

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

chenyu105

论坛徽章:: 0

9楼 [报告]

发表于 2013-05-24 14:07 |只看该作者

meminfo里很多字段，有的代表页面使用，有的代表页面状态，可能有重复的。

1）总共用了used = 1026856 - 293760 = 733096KB

2）按低端高端划分：
HighTotal:       135112 kB
HighFree:          1776 kB
LowTotal:       891744 kB
LowFree:       291984 kB
高端high_used = 135112 - 1776 =  133336KB
低端low_used= 891744  -  291984 = 599760KB

3）详细的使用：
Buffers 23628 + Cached 43448 + AnonPages 14480 + Mapped 8824 + Shmem 228 +
Slab 13836 +PageTables  556 + VmallocUsed 1996
ectual_used = 106996KB

high_used + low_used + ectual_used  = 840092kb 这个值比used多100M，我觉得可能是
slab,page cache这些和low_used有重复计算的地方；
而anonpages,Mapped这些则可能和high_used有重复计算。

大部分花销是在low区间，并且不是在slab,pagecache这些地方，那会是哪里？难道是内核自己get_free_pages分配的。
看有没有哪位同学来解释一下。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？