『请教』get_free_pages申请大内存

Godbach

原帖由 peimichael 于 2009-10-16 11:31 发表
刚想到一个小问题，
VMALLOC_START是在high_memory之上的8M以后的，
那么假如我有1G内存，high_memory界限会划在896M吧
也就是说vmalloc最多只有128-8=120M了，这还要再除去顶端的固定内核映射等空间
那么这 ...

不是的。我是系统内存剩下不到200M了，所以分了100M。下面是分了150M的情形：

[root@localhost alloc_large_mem]# free
             total       used       free     shared    buffers     cached
Mem:        385624     212368     173256          0       4972      75260
-/+ buffers/cache:     132136     253488
Swap:       522104       7992     514112
[root@localhost alloc_large_mem]# insmod alloc_large_mem.ko
[root@localhost alloc_large_mem]# free
             total       used       free     shared    buffers     cached
Mem:        385624     366024      19600          0       4988      75260
-/+ buffers/cache:     285776      99848
Swap:       522104       7992     514112
[root@localhost alloc_large_mem]#

platinum

原帖由 peimichael 于 2009-10-16 11:31 发表
物理内存越大，vmalloc能分配到的越少？

vmalloc 可以分配多少内存和 /proc/meminfo 有关

MemTotal:      1018680 kB
MemFree:        642760 kB
Buffers:         32800 kB
Cached:         126024 kB
SwapCached:          0 kB
Active:         243148 kB
Inactive:        94348 kB
HighTotal:           0 kB
HighFree:            0 kB
LowTotal:      1018680 kB
LowFree:        642760 kB
SwapTotal:     2096440 kB
SwapFree:      2096440 kB
Dirty:            1224 kB
Writeback:           0 kB
AnonPages:      178728 kB
Mapped:          20260 kB
Slab:            15712 kB
SReclaimable:     4400 kB
SUnreclaim:      11312 kB
PageTables:        896 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
CommitLimit:   2605780 kB
Committed_AS:  1095916 kB
VmallocTotal:  1040376 kB
VmallocUsed:     10108 kB
VmallocChunk:  1030208 kB

启动时在 kernel 后面加参数 vmalloc=xxxM 可以指定系统允许使用多大虚拟内存空间，但这个数值必须 < 实际物理内存
至于有的机器为什么不指定也显示超大，而有的系统不指定则才 100M 左右，我就不清楚了

Godbach

白金兄，那你分配个800M的内存看一下能否成功。

Godbach

刚刚试图分配300M的内存，我的系统仅剩下170多M的物理内存，分配前的情况如下：

[root@localhost alloc_large_mem]# free
             total       used       free     shared    buffers     cached
Mem:        385624     207388     178236          0       6220      76076
-/+ buffers/cache:     125092     260532
Swap:       522104       7992     514112
[root@localhost alloc_large_mem]# cat /proc/meminfo | grep Vmalloc
VmallocTotal:   638968 kB
VmallocUsed:      3512 kB
VmallocChunk:   633644 kB

加载模块，分配300M内存

[root@localhost alloc_large_mem]# insmod alloc_large_mem.ko
[root@localhost alloc_large_mem]# free
             total       used       free     shared    buffers     cached
Mem:        385624     378624       7000          0        212      20952
-/+ buffers/cache:     357460      28164
Swap:       522104      72520     449584
[root@localhost alloc_large_mem]# cat /proc/meminfo | grep Vmalloc
VmallocTotal:   638968 kB
VmallocUsed:    311032 kB
VmallocChunk:   326440 kB
[root@localhost alloc_large_mem]#

可见，物理内存减少了170M，但是从/proc/meminfo可以看出，虚拟内存由原先的3M多变成了311M，使用了300多M的虚拟内存。

eexplorer

在386机器上，如果物理内存超过1G的话，default的vmalloc区间只有128M左右。同过vmalloc=XX参数的话，是减少了kernel线性映射空间为代价的。

在x86_64的机子上就没有这个问题，vmalloc的区间可以很大。

platinum

又做了一个实验

# cat /proc/meminfo
MemTotal:      1544432 kB
MemFree:       1475704 kB
Buffers:          8604 kB
Cached:          31096 kB
SwapCached:          0 kB
Active:          30860 kB
Inactive:        19308 kB
HighTotal:      786368 kB
HighFree:       741500 kB
LowTotal:       758064 kB
LowFree:        734204 kB
SwapTotal:      522104 kB
SwapFree:       522104 kB
Dirty:            2524 kB
Writeback:           0 kB
AnonPages:       10512 kB
Mapped:           3184 kB
Slab:             7696 kB
SReclaimable:     2272 kB
SUnreclaim:       5424 kB
PageTables:        192 kB
NFS_Unstable:        0 kB
Bounce:              0 kB
CommitLimit:   1294320 kB
Committed_AS:    16540 kB
VmallocTotal:  1294328 kB    // 在启动时 kernel 里 vmalloc=1280M
VmallocUsed:      4216 kB
VmallocChunk:  1289704 kB

# free
             total       used       free     shared    buffers     cached
Mem:       1544432      68660    1475772          0       8604      31096
-/+ buffers/cache:      28960    1515472
Swap:       522104          0     522104

# insmod module.ko

# free
             total       used       free     shared    buffers     cached
Mem:       1544432    1118084     426348          0       8688      31096
-/+ buffers/cache:    1078300     466132
Swap:       522104          0     522104

# rmmod module

# free
             total       used       free     shared    buffers     cached
Mem:       1544432      69596    1474836          0       8772      31096
-/+ buffers/cache:      29728    1514704
Swap:       522104          0     522104

#

代码如下

1. 
   
2. #include <linux/module.h>
   
3. #include <linux/vmalloc.h>
   
4. 
   
5. MODULE_AUTHOR("platinum");
   
6. MODULE_DESCRIPTION("This is a module sample.");
   
7. MODULE_LICENSE("GPL");
   
8. 
   
9. #define MB      (1024*1024)
   
10. 
    
11. __u8 *data;
    
12. 
    
13. int
    
14. init_module (void)
    
15. {
    
16.         data = vmalloc(1024 * MB);
    
17. 
    
18.         if (!data)
    
19.                 return -ENOMEM;
    
20. 
    
21.         memset(data, 0xff, 1024 * MB);
    
22.         printk("module loaded.\n");
    
23.         return 0;
    
24. }
    
25. 
    
26. 
    
27. void
    
28. cleanup_module(void)
    
29. {
    
30.         vfree(data);
    
31.         printk("module unloaded.\n");
    
32. }
    

复制代码

由此可见，在内核里分配并使用了 1G 内存空间，虽然实现了，但不知道用于生产环境是否可行

在386机器上，如果物理内存超过1G的话，default的vmalloc区间只有128M左右。同过vmalloc=XX参数的话，是减少了kernel线性映射空间为代价的。

在x86_64的机子上就没有这个问题，vmalloc的区间可以很大。

不知道这种代价到底有多大，对内存管理不熟悉，eexplorer 兄可否给我们讲一下

peimichael

白金前辈，你的vmalloc怎么有1280M阿。。你用的64系统么？

platinum

原帖由 peimichael 于 2009-10-16 12:48 发表
白金前辈，你的vmalloc怎么有1280M阿。。你用的64系统么？

我用的是 32bit 虚拟机，里面运行的是 32bit linux 系统 gentoo
虚拟机分配了 1536MB 内存（宿主机 2GB）

epegasus

可是他却分配了1G的,...
是不是0xc0000000边界下降了?

eexplorer

查了一下，在compile kernel的时候有一个memory splict的选项，
可以改变PAGE_OFFSET的值。可以查一下 /lib/modules/`uname -r`/build/.config里CONFIG_PAGE_OFFSET的值。