突破32位Linux下Innodb缓冲池(innodb_buffer_pool_size) 2G限制

FinalBSD

我的原文在这里http://www.sanotes.net/html/y2008/325.html
MySQL Innodb里面的innodb_buffer_pool_size 参数
这个参数设置buffer_pool_size也就是缓冲池大小，官方的建议是不要超过2G。经过研究发现这个限制主要来自于如下原因：
32位的Linux内核，内存的寻址范围最大只能是4GB(2^32),这4GB当中0-3GB的给用户进程(User Space)使用，3-4GB给内核使用.也就是说像MySQL这样的进程分配的内存不能超过3GB，但是为什么innodb_buffer_pool_size 设置成3GB不行呢？很简单，因为MySQL在分配这个内存的时候不仅仅是innodb_buffer_pool_size的设置值，还加了一个struct：(innobase/ut/ut0mem.c)

81 ret = malloc(n + sizeof(ut_mem_block_t));

这样的话，设置成3GB后，malloc的结果会超过3GB，看到这种错误：

InnoDB: Error: cannot allocate 3221241856 bytes of


希望对大家有帮助

talen-t

研究的不错!
小样,继续努力!

枫影谁用了

这个头像是啥官哇。。。芝麻官。。。


不过这个官能办实事

7islands

能看看  cat /proc/sys/vm/overcommit_memory  的输出是多少吗？  
这个参数对malloc的返回有影响。  malloc在linux下会乐观分配内存。

好像大多数发行版把/proc/sys/vm/overcommit_memory设成1.   这样他的malloc就不是3g了。
分配内存超过swap+vm.overcommit_ratio*RAM时，都会分配失败。不会引起oom_killer

FinalBSD

原帖由 7islands 于 2008-7-11 15:22 发表
能看看  cat /proc/sys/vm/overcommit_memory  的输出是多少吗？  
这个参数对malloc的返回有影响。  malloc在linux下会乐观分配内存。

好像大多数发行版把/proc/sys/vm/overcommit_memory设成1.   这样他的 ...

我试验的结果是在32位机器上/proc/sys/vm/overcommit_memory设置成0（默认）或者1，都只能分配最大3G内存。你可以验证一下。

[ 本帖最后由 FinalBSD 于 2008-7-11 16:18 编辑 ]

FinalBSD

乐观分配内存我想主要是实现COW功能，但是不是无限制的分配下去，3GB应该是顶峰，因为内存寻址的问题，要解决这个问题，可以打相应的内核补丁把4GB都给用户空间。

7islands

不好意思，我记错了。是以前做的试验。  

好像大多数发行版把/proc/sys/vm/overcommit_memory设成2     可以man proc  （好记性不如烂笔头啊！ 教训 ）

麻烦你在试试！ 我在我机器上测试的时候是成功的。  

等你的回复！

andrefun

UP！

qlks

我想问下，这个问题怎么解决呢？
如果我开了AWE，32位的机器内存可以支持到最大36G了
这时候我怎么设才能用到3G以上的内存呢？就不可以了？

yejr

如果是我，直接升级到64位，省心