NUMA的模型

kiongf

   我看了些mm的一些源码, 感觉NUMA这块的模型很模糊,.有个问题很困惑
   


     假设2节点的架构.内核配置了CONFIG_HIGHMEM ,是否每个节点一定有ZONE_DMA,ZONE_NORMAL,ZONE_HIGHMEM(也就是相应的zone有pfn分布)。

瀚海书香

回复 1# kiongf

假设2节点的架构.内核配置了CONFIG_HIGHMEM ,是否每个节点一定有ZONE_DMA,ZONE_NORMAL,ZONE_HIGHMEM(也就是相应的zone有pfn分布)。

不一定的，ZONE_DMA可能只在一个node上，另一个node全是ZONE_NORMAL

   

humjb_1983

回复 1# kiongf
NUMA系统中存在多个节点，每个节点对应一个struct pglist_data结构，此结构中可以包含多个zone，如：ZONE_DMA, ZONE_NORMAL，这样就产生几种排列顺序，以2个节点2个zone为例(zone从高到低排列, ZONE_DMA0表示节点0的ZONE_DMA，其它类似)：
1) Legacy方式: 每个节点只排列自己的zone；
2) Node方式: 按节点顺序依次排列，先排列本地节点的所有zone，再排列其它节点的所有zone。
3) Zone方式: 按zone类型从高到低依次排列各节点的同相类型zone。
可通过启动参数numa_zonelist_order来配置zonelist order，内核定义了3种配置：
#define ZONELIST_ORDER_DEFAULT  0 /* 智能选择Node或Zone方式 */
#define ZONELIST_ORDER_NODE     1 /* 对应Node方式 */
#define ZONELIST_ORDER_ZONE     2 /* 对应Zone方式 */
另外，可以通过/proc/sys/vm/numa_zonelist_order动态改变zonelist order的分配方式：
n/N对应：ZONELIST_ORDER_NODE
z/Z对应：ZONELIST_ORDER_ZONE
d/D对应：ZONELIST_ORDER_DEFAULT




   

瀚海书香

回复 3# humjb_1983
多谢分享！

   

kiongf

回复 2# 瀚海书香


    那意味着我的内存有2G的话,可能会出现
     node 0 掌控 ZONE_DMA 和ZONE_NORMAL
     node 1 掌控 ZONE_HIGHMEM。
这种情况。
    那么cpu 0 访问node1中的内存的速度不就慢了吗？

kiongf

回复 3# humjb_1983


    你说的zonelist order. 应该指的是当某个zone 的内存不足时的后备zone列表吧?

   这个是否和我提的问题没有关系吧?

瀚海书香

回复 5# kiongf

那意味着我的内存有2G的话,可能会出现
     node 0 掌控 ZONE_DMA 和ZONE_NORMAL
     node 1 掌控 ZONE_HIGHMEM。
这种情况。
    那么cpu 0 访问node1中的内存的速度不就慢了吗？

看个实例吧


   

humjb_1983

回复 6# kiongf
这里的zonelist就是每个node的zone列表，不是你说的“后备”~~。通俗讲，就是说每个node都可能有DMA和Normal等zone，这些zone按照order模式设置不同，分布于不同的node中，比如node和zone模式中，每个node中即包含本节点中的zone，也包含其他节点中的zone。


   

humjb_1983

回复 7# 瀚海书香
瀚海兄这个东东很有说服力，LZ可以仔细看看cat /proc/zoneinfo的内容，应该就会明白了。