Chinaunix

标题: 对内存管理的不懂。。望高手指导看了很多资料还是不太明白 [打印本页]

作者: tc1989tc 时间: 2013-10-21 20:23
标题: 对内存管理的不懂。。望高手指导看了很多资料还是不太明白
linux地址转换是：逻辑地址转换为线性地址，线性地址通过页表在转换为物理地址。。
但是在今天看内核内存管理的时候，有个struct page 结构说是每个物理页帧的记录者，，还有一个虚拟内存区( VMA )用来管理进程地址空间中不同区域的内核数据结构。不明白这两个结构跟页表有什么联系。。。
还有一个问题就是，一个内核逻辑地址通过一定偏移量就得到对应的物理地址，，，但是这样是不是就会让内核的逻辑地址对应的那些所以的物理地址都不能分配给其它用户空间的虚拟地址来映射了啊。。也就是说用户空间地址只能映射高端地址？？？这样肯定是错的，，但是不知道为啥子？？希望高手指导哈以上两个问题

作者: kiongf 时间: 2013-10-21 22:19
回复 1# tc1989tc

   高端内存：  指的是物理内存中不能被virtual address直接映射的物理内存部分.  也就是说不能直接通过virtual address来获得physical address.
   低端内存: 指的是物理内存中直接被virtual address直接映射的物理内存部分。直接通过virtual address就可以知道physical address。

   那么不能直接映射的部分必须通过paging hierarchy来记录它们的virtual address和physical address的映射关系, 也就是哪个virtual address对应哪个physical address.
   问题是每个进程不可能知道哪些地址被别的进程使用了. 所以内存管理抽象了一个address space给每个进程.
   这个address space（struct mm_struct{}描述）就是进程允许使用的virutal address 的集合.也就是你提到的多个VMA构成一个address space.

   当进程需要从内存取信息时, 它就需要根据address space对应的paging hierarchy（mm->pgd）来翻译virutal address，得到真实的物理address.
   你也知道内存是按页来组织的。内存管理必须知道哪个页已经被使用来映射了, 于是他必须通过一个描述符来描述物理页的现状:有没有被映射，被映射了多少次.

作者: tc1989tc 时间: 2013-10-21 22:55
回复 2# kiongf

还有的疑问就是用户空间的虚拟地址和内核空间的逻辑地址都可以映射到低端地址吗？
若果能，那么是不是暗示着用户空间的虚拟地址与内核逻辑地址冲突了啊。。例如在内核定义的一个结构体的逻辑地址对应的刚好在页帧号为100上面，然而我们在内核调用kmalloc的时候刚好又分配到页帧号为100的物理地址映射到VMA中。这样是不是好像就有点冲突问题呢。。？？

作者: 瀚海书香 时间: 2013-10-22 08:49
回复 3# tc1989tc

还有的疑问就是用户空间的虚拟地址和内核空间的逻辑地址都可以映射到低端地址吗？
若果能，那么是不是暗示着用户空间的虚拟地址与内核逻辑地址冲突了啊。。例如在内核定义的一个结构体的逻辑地址对应的刚好在页帧号为100上面，然而我们在内核调用kmalloc的时候刚好又分配到页帧号为100的物理地址映射到VMA中。这样是不是好像就有点冲突问题呢。。？？

If page[100] has been allocated by user level programs, then kernel kmalloc can't acquire the page[100] by default.

作者: tc1989tc 时间: 2013-10-22 18:16
回复 4# 瀚海书香

呵呵版主翻译过来可是如果该page[100] 分配给了用户空间，那么这个page[100]的内核逻辑地址内核将不会再用？？

作者: tc1989tc 时间: 2013-10-22 23:35
回复 4# 瀚海书香

还有个问题麻烦版主解答啊。。就是vmalloc返回的地址和用户空间内存区( VMA )有什么联系没有啊？？是不是vmalloc返回的虚拟地址就是VMA->vm_start记录的地址啊？？

作者: humjb_1983 时间: 2013-10-23 09:26
回复 6# tc1989tc
vmalloc是内核中的内存分配接口，只保证虚拟地址连续(物理地址不一定连续)，跟用户进程的VMA没有关系~

作者: mordorwww 时间: 2013-10-23 12:17
本帖最后由 mordorwww 于 2013-10-23 14:41 编辑

如果物理内存小于892MB(highmem)的机器，还有没有高端内存

作者: humjb_1983 时间: 2013-10-23 12:46
回复 8# mordorwww
应该没有了。。

作者: mordorwww 时间: 2013-10-23 14:42

humjb_1983 发表于 2013-10-23 12:46
回复 8# mordorwww
应该没有了。。

那这样vmalloc怎么办？所有内存都线性映射？

作者: arm-linux-gcc 时间: 2013-10-23 15:59
回复 10# mordorwww
vmalloc是非线性映射
vmalloc和kmalloc各自对应的页表entry是不同的item

作者: tc1989tc 时间: 2013-10-23 18:43
回复 7# humjb_1983

thanks，正在学习中，希望以后多交流

作者: mordorwww 时间: 2013-10-23 20:33

arm-linux-gcc 发表于 2013-10-23 15:59
回复 10# mordorwww
vmalloc是非线性映射
vmalloc和kmalloc各自对应的页表entry是不同的item

不是问你这个
是问你vmalloc 区，也就是非线性区从哪段物理内存分配
前面不是说从896MB以上分配么，可是我这电脑896MB以上压根就木有内存

作者: arm-linux-gcc 时间: 2013-10-23 20:40
回复 13# mordorwww

没有高端内存时，vmalloc从低端内存拿，只不过映射到vmalloc zone而已

作者: mordorwww 时间: 2013-10-23 20:44

arm-linux-gcc 发表于 2013-10-23 20:40
回复 13# mordorwww

低端内存已经分配给线性区了，不冲突么

作者: arm-linux-gcc 时间: 2013-10-23 21:27
回复 15# mordorwww

不会冲突，低端物理内存即映射到线性区，也映射到非线性区

作者: kiongf 时间: 2013-10-23 22:46
回复 3# tc1989tc

   不管是kernel thread还是normal process, 它们要使用内存都必须向memory allocator提出申请, 并不是说kernel address直接映射了, kernel thread就可以直接使用这些内存. 内存管理 , 指的是有管理者。即使是同样内核的子系统, 也必须向他申请内存. 所以不会出现你所的那种冲突的情况。一旦申请成功, memory allocator就会标记这些分配的page frame已经分配；提出申请者没释放之前是不可能再分配这些已分配的内存的。

其次，进程/kernel thread面向的是addresss space. 他们并不知道实际的物理内存. 比如malloc()函数, mm子系统会给他在user mode address space中分配一个VMA(virual address region), 并且分配一些物理内存给他, 然后通过page table 来记录, mm子系统就会知道进程提出的想要读取的0x8000 0000的数据,实际上是要读取物理内存0x1FFF FFFF的数据。vmalloc()函数同理. 0x8000 0000 -> 0x1FFF FFFF这个过程就是解析paging hierarchy, 间接通过paging hierarchy得到virutal address和physical address的映射。

另外可以看alloc_page()和get_user_page()
1) alloc_page() , 会向memory allocator申请1<<order个page frame, 并返回第一个块page frame的page descriptor *page. 因为page descriptor在都被分配在低端内存(属于直接映射部分)因此可以直接使用.  因此不需要转换就可以知道虚拟地址*page所在物理内存的地址。即使是高端内存也可以通过简单的计算得到其描述的page frame的地址(page_to_pfn() -- 建议不要看这个函数，这个函数涉及到memory model 。你就当是从page descriptor得到物理内存中该page frame一个全局唯一的序号PFN) 。因此即使是高端内存的page frame, 只要得到page descriptor就可以知道分配的PFN(page frame number). 所以alloc_page才会有这个(__GFP_HIGHMEM)标志, 允许申请高端内存的物理页。

作者: tc1989tc 时间: 2013-10-23 23:04
回复 17# kiongf

另外可以看alloc_page()和get_user_page()
1) alloc_page() , 会向memory allocator申请1<<order个page frame, 并返回第一个块page frame的page descriptor *page. 因为page descriptor在都被分配在低端内存(属于直接映射部分)因此可以直接使用. 因此不需要转换就可以知道虚拟地址*page所在物理内存的地址。即使是高端内存也可以通过简单的计算得到其描述的page frame的地址(page_to_pfn() -- 建议不要看这个函数，这个函数涉及到memory model 。你就当是从page descriptor得到物理内存中该page frame一个全局唯一的序号PFN) 。因此即使是高端内存的page frame, 只要得到page descriptor就可以知道分配的PFN(page frame number). 所以alloc_page才会有这个(__GFP_HIGHMEM)标志, 允许申请高端内存的物理页。

请问你所说的page descriptor 就是struct page结构吧？
还有就是不明白了vmalloc分配的是内核那个只有128M大小虚拟地址的空间，，这个怎么又跟我们进程用户空间的虚拟地址联系起来了啊？？我们进程用户空间的虚拟地址不是通过页表和物理地址联系的了嘛？？感觉很混

作者: kiongf 时间: 2013-10-23 23:19
回复 18# tc1989tc

是的. page descriptor就是struct page.


   vmalloc() 和你常见的c的malloc()都是申请虚拟内存区间, 来建立虚拟地址对物理地址的映射.他们同样是通过page table来记录的这段映射. 他们的区别在于一个只能被内核层使用, 一个同时可以被用户层和内核层使用。

   两者没有太多联系. 都是抢固定大小物理内存。没有足够物理内存, 那么申请内存的进程/kernel thread要么放弃，要么就睡觉

作者: humjb_1983 时间: 2013-10-24 08:52
回复 12# tc1989tc

呵呵，互相学习~

作者: humjb_1983 时间: 2013-10-24 09:15

mordorwww 发表于 2013-10-23 14:42
那这样vmalloc怎么办？所有内存都线性映射？

vmalloc并没说一定在896M之后的物理内存中分配吧，vmalloc对应的“非连续内存区”实际是线性地址(虚拟地址空间中)的概念，其分配的物理内存实际是通过kmalloc和alloc_page接口分配的，分配标记为GFP_KERNEL|GFP_HIGHMEM，表示其分配的物理内存既可以在低端内存，也可以在高端内存中。

作者: mordorwww 时间: 2013-10-24 10:22

humjb_1983 发表于 2013-10-24 09:15
vmalloc并没说一定在896M之后的物理内存中分配吧，vmalloc对应的“非连续内存区”实际是线性地址(虚拟地址 ...

你这话说得貌似 vmalloc 是靠 kmalloc 来分配内存的

作者: humjb_1983 时间: 2013-10-24 11:03

mordorwww 发表于 2013-10-24 10:22
你这话说得貌似 vmalloc 是靠 kmalloc 来分配内存的

呵呵，对的，其最终还是通过kmalloc和alloc_page接口来分别物理内存的。

作者: mordorwww 时间: 2013-10-24 14:03

humjb_1983 发表于 2013-10-24 11:03
呵呵，对的，其最终还是通过kmalloc和alloc_page接口来分别物理内存的。

vmalloc通过kmalloc干啥

作者: humjb_1983 时间: 2013-10-24 15:10
回复 24# mordorwww
kmalloc用于分配存放页描述符指针(*page)的数组
alloc_page用于实际page的分配，标记是GFP_KERNEL | __GFP_HIGHMEM

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)