solaris源码分析 - Processor Groups

aubrey

                                                                针对cmt架构，processor groups用来抽象一系列逻辑CPU，同一系列CPU可以共享cache,
pipeline或者FPU。有了组的实现，我们就可以采用相应的优化策略。processor groups有这么几类：
1) 普通的processor group，用(pg_t *)表示。
2) 如果这个group里面的cpu有物理硬件上的关系，可以用(pghw_t *)做强制类型转换。
3) 如果这个group里面的cpu有着相同的分配策略，可以用(pg_cmt_t *)做强制类型转换。
BSP和APs通过不同的路径调用cpu的processor group初始化，如下：
pg_cpu0_init()    mp_startup()
     |_________________|
              |
     pg_cpu_init()
我们从pg_cpu_init()这个函数开始看：
voidpg_cpu_init(cpu_t *cp){    pg_cid_t    i;    ASSERT(MUTEX_HELD(&cpu_lock));
确保拿到cpu_lock。
    /*
     * Allocate and size the per CPU pg data
     */
    cp->cpu_pg = pg_cpu_data_alloc();
创建cpu_pg结构体，包括struct group类型pgs和cmt_pgs的创建。
    /*
     * Notify all registered classes about the new CPU
     */
    for (i = 0; i cpu_pg->cmt_pgs;
    cp->cpu_pg->cmt_lineage = NULL;
拿到cmt_pgs指针，将struct pg类型的指针初始化为NULL。
    bzero(cpu_cmt_hier, sizeof (cpu_cmt_hier));
初始化cpu_cmt_hier数组。
    max_level = nlevels = 0;
    for (hw = PGHW_START; hw cmt_cpus_actv_set);
            group_create(&pg->cmt_cpus_actv);
创建同一cmt类型的分组里面active CPU的分组。
        } else {
            ASSERT(IS_CMT_PG(pg));
如果分组存在，确认是分组是支持CMT的。
        }
        /* Add the CPU to the PG */
        pg_cpu_add((pg_t *)pg, cp);
将CPU加入分组中，并将该分组加入CPU的cpu_pg分组中。
这里有两个重要的分组成员变量将被update：
1) grp_size，调用一次group_add，grp_size++。
2) grp_capacity，表示当前group的容量，或者能力。当grp_size大于grp_capacity的时候，grp_capacity将会增加。这里grp_capacity的默认值为2，每当发现grp_size大于grp_capacity的时候，grp_capacity将会左移一位，即x2。
        /*
         * Ensure capacity of the active CPUs group/bitset
         */
        group_expand(&pg->cmt_cpus_actv,
            GROUP_SIZE(&((pg_t *)pg)->pg_cpus));
扩大分组里面的cmt_cpus_actv分组，使他的capacity不小于分组里面的cpu的个数。
        if (cp->cpu_seqid >=
            bitset_capacity(&pg->cmt_cpus_actv_set)) {
            bitset_resize(&pg->cmt_cpus_actv_set,
                cp->cpu_seqid + 1);
        }
如果当前CPU的seqid大于或等于active cpu bitset的容量，对cmt_cpus_actv_set做resize。
        /*
         * Build a lineage of CMT PGs for load balancing
         */
如果hw类型可做load balance，这里如要是PGHW_IPIPE, PGHW_FPU, PGHW_CHIP, PGHW_CACHE.
        if (pg_plat_cmt_load_bal_hw(hw)) {
            level = pghw_level(hw);
获取hw类型的level，取自pg_plat_hw_level()中的数组hw_hier[]。
            cpu_cmt_hier[level] = pg;
给数组cpu_cmt_hier赋值。
            if (level > max_level)
                max_level = level;
            nlevels++;
更新max_level和nlevels。
        }
        /* Cache this for later */
        if (hw == PGHW_CACHE)
            pg_cache = (pg_t *)pg;
    }
    /*
     * Pack out any gaps in the constructed lineage.
     * Gaps may exist where the architecture knows
     * about a hardware sharing relationship, but such a
     * relationship either isn't relevant for load
     * balancing or doesn't exist between CPUs on the system.
     */
    pg_cmt_hier_pack(cpu_cmt_hier, max_level + 1);
如果cpu_cmt_hier数组中存在NULL元素，将整个数组后的元素前移，保证cpu_cmt_hier数组的一致性。
    /*
     * For each of the PGs int the CPU's lineage:
     *    - Add an entry in the CPU sorted CMT PG group
     *      which is used for top down CMT load balancing
     *    - Tie the PG into the CMT hierarchy by connecting
     *      it to it's parent and siblings.
     */
    group_expand(cmt_pgs, nlevels);
根据实际nlevels的大小，调整cmt_pgs的capacity的大小。
    /*
     * Find the lgrp that encapsulates this CPU's CMT hierarchy
     */
    lgrp_handle = lgrp_plat_cpu_to_hand(cp->cpu_id);
    lgrp = pg_cmt_find_lgrp(lgrp_handle);
    if (lgrp == NULL)
        lgrp = pg_cmt_lgrp_create(lgrp_handle);
如果没有找到，就创建cmt local group.
    for (level = 0; level grp_set[nlevels-level-1] = pg。
这里用的是倒序。为什么用倒序呢？我们看看hw_hier[]数组的顺序:
PGHW_IPIPE,
PGHW_CACHE,
PGHW_CHIP
我们知道，cmt_balance选择目标pg的时候，是从头开始，从cmt_pgs里面拿pg，第一个可用的就是目标group。所以我们在做load balance的时候，希望是尽量不同的chip做balance，然后是不同的共享cache的processor group，最后再是不同的共享pipeline的processor group，所以这里倒序是对的。
只是不知道为什么把PGHW_FPU去掉了。
        if (level == 0)
            cp->cpu_pg->cmt_lineage = (pg_t *)pg;
level为零的pg放到了cmt_lineage的链上去。
        if (pg->cmt_siblings != NULL) {
            /* Already initialized */
            ASSERT(pg->cmt_parent == NULL ||
                pg->cmt_parent == cpu_cmt_hier[level + 1]);
            ASSERT(pg->cmt_siblings == &lgrp->cl_pgs ||
                ((pg->cmt_parent != NULL) &&
                pg->cmt_siblings == pg->cmt_parent->cmt_children));
            continue;
        }
        if ((level + 1) == nlevels) {
            pg->cmt_parent = NULL;
            pg->cmt_siblings = &lgrp->cl_pgs;
            children = ++lgrp->cl_npgs;
如果是最后一个level的pg，parent为空。
        } else {
            pg->cmt_parent = cpu_cmt_hier[level + 1];
在level = n的pg，其cmt_parent为level = n + 1的pg。
            /*
             * A good parent keeps track of their children.
             * The parent's children group is also the PG's
             * siblings.
             */
            if (pg->cmt_parent->cmt_children == NULL) {
                pg->cmt_parent->cmt_children =
                    kmem_zalloc(sizeof (group_t), KM_SLEEP);
                group_create(pg->cmt_parent->cmt_children);
            }
            pg->cmt_siblings = pg->cmt_parent->cmt_children;
            children = ++pg->cmt_parent->cmt_nchildren;
创建cmt_children group。
        }
        pg->cmt_hint = 0;
        group_expand(pg->cmt_siblings, children);
根据children的个数，调整cmt_siblings的capacity，注意，这里只调整capacity，而不调整cmt_siblings的size。cmt_siblings的size在cpu online的时候才会做调整。也就是说，capacity代表能有多少个cpu属于这个group，而size表示已经有多少个cpu属于这个group。具体参见函数：pg_cmt_cpu_active().
    }
    /*
     * Cache the chip and core IDs in the cpu_t->cpu_physid structure
     * for fast lookups later.
     */
    if (cp->cpu_physid) {
        cp->cpu_physid->cpu_chipid =
            pg_plat_hw_instance_id(cp, PGHW_CHIP);
        cp->cpu_physid->cpu_coreid = pg_plat_get_core_id(cp);
        /*
         * If this cpu has a PG representing shared cache, then set
         * cpu_cacheid to that PG's logical id
         */
        if (pg_cache)
            cp->cpu_physid->cpu_cacheid = pg_cache->pg_id;
    }
初始化cpu结构体中cpu_physid的chpid, coreid和cacheid。
    /* CPU0 only initialization */
    if (is_cpu0) {
        pg_cmt_cpu_startup(cp);
        is_cpu0 = 0;
        cpu0_lgrp = lgrp;
    }
}
那么如果是cpu0，cpu0所属的所有的processor group的使用技术都加1.
最后，我们得到了这样的一个结构：
               CHIP
                |
  ----------- CACHE ----------
  /        |        |        \
IPIPE    IPIPI    IPIPE    IPIPE
               
               
               
               
               
               

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u1/41699/showart_1331722.html