Solaris源码分析 - 负载均衡

aubrey

                                                                如果芯片只有一个核(单CPU)，那么不需要做额外的负载均衡，cpu只要空闲就可以运行。如果目标是双核芯片，即使其中只有一个核正忙，那么转而寻找另外一个两个cpu都空闲的芯片也会好一些，否则就可能出现一个芯片中两个核都忙，而同一系统中的另一个芯片中两个核都空闲的情况。更简单的说，对于多核系统，尽量在物理芯片中获得负载均衡，把工作负荷散布到各物理芯片的CPU上，要比先塞满芯片0上的cpu，再塞满芯片1上的CPU...的策略要好得多。
这就是CMT(Chip multithreading)，是指处理器技术一族，它允许一个给定的物理处理器同时执行多个线程，
如果没有CMT的支持，内核能看到的芯片上的每个逻辑CPU都是一样的，但实际上多个逻辑CPU的共享关系是非常重要的，共享同一个管道或者共享cache的逻辑CPU的感知对内核提升性能有着至关重要的作用。
废话少说，看code，在cpu_choose选择了cpu之后，我们要做负载均衡了。
static cpu_t *cmt_balance(kthread_t *tp, cpu_t *cp){    int        hint, i, cpu, nsiblings;    int        self = 0;    group_t        *cmt_pgs, *siblings;    pg_cmt_t    *pg, *pg_tmp, *tpg = NULL;    int        pg_nrun, tpg_nrun;    int        level = 0;    cpu_t        *newcp;    ASSERT(THREAD_LOCK_HELD(tp));
传入需要调度的线程和cpu_choose选择好的cpu，首先开始确认一下线程锁是被拿到的。
    cmt_pgs = &cp->cpu_pg->cmt_pgs;    if (GROUP_SIZE(cmt_pgs) == 0)        return (cp);    /* nothing to do */
获取CMT的processor group的size，如果size为0，那么就不需要做负载均衡了，直接返回当前的cpu。
    if (tp == curthread)        self = 1;
设置一下self标志如果是当前线程的话。
    /*     * Balance across siblings in the CPUs CMT lineage     */    do {        pg = GROUP_ACCESS(cmt_pgs, level);
level从0开始，获取processor group。这里要说明一下，processor group的类型:
typedef enum pghw_type {
    PGHW_START,
    PGHW_IPIPE,
    PGHW_CACHE,
    PGHW_FPU,
    PGHW_MPIPE,
    PGHW_CHIP,
    PGHW_MEMORY,
    PGHW_NUM_COMPONENTS
} pghw_type_t;
在我的机器上，只支持两种类型的processor group.
pg[0]为PGHW_CHIP，pg[1]为PGHW_CACHE。        siblings = pg->cmt_siblings;
        nsiblings = GROUP_SIZE(siblings);    /* self inclusive */
获取相同类型的processor group的size。
        if (nsiblings == 1)            continue;    /* nobody to balance against */
如果该类型的group只有一个，那么就没什么balance好做的，直接跳到下个group类型。        pg_nrun = pg->cmt_nrunning;        if (self &&            bitset_in_set(&pg->cmt_cpus_actv_set, CPU->cpu_seqid))            pg_nrun--;    /* Ignore curthread's effect */
更新pg_nrun，主要是去除当前进程        hint = pg->cmt_hint;        /*         * Check for validity of the hint         * It should reference a valid sibling         */        if (hint >= nsiblings)            hint = pg->cmt_hint = 0;        else            pg->cmt_hint++;
hint大小必须小于同类型的processor group的数目。
        /*         * Find a balancing candidate from among our siblings         * "hint" is a hint for where to start looking         */        i = hint;        do {            ASSERT(i             pg_tmp = GROUP_ACCESS(siblings, i);
pg_tmp等于siblings的以i为index的processor group。            /*             * The candidate must not be us, and must             * have some CPU resources in the thread's             * partition             */            if (pg_tmp != pg &&                bitset_in_set(&tp->t_cpupart->cp_cmt_pgs,                ((pg_t *)pg_tmp)->pg_id)) {                tpg = pg_tmp;                break;            }
如果当前线程的partition还有cpu资源，我们得到一个目标group。
            if (++i >= nsiblings)                i = 0;        } while (i != hint);
直至查找完所有同类型的group。        if (!tpg)            continue;    /* no candidates at this level */
如果没找到，我们找下一个类型。        /*         * Check if the balancing target is underloaded         * Decide to balance if the target is running fewer         * threads, or if it's running the same number of threads         * with more online CPUs         */        tpg_nrun = tpg->cmt_nrunning;
我们得到目标group上运行的线程个数，
        if (pg_nrun > tpg_nrun ||            (pg_nrun == tpg_nrun &&            (GROUP_SIZE(&tpg->cmt_cpus_actv) >            GROUP_SIZE(&pg->cmt_cpus_actv)))) {            break;
如果当前group的线程个数比目标group大，我们就得到了一个目标group。
或者如果线程个数相等，但是目标group中的cpu资源比当前group丰富，我们也得到一个目标group。
        }        tpg = NULL;
否则目标group被清除。
    } while (++level 直至查找完所有支持的类型。
    if (tpg) {        /*         * Select an idle CPU from the target PG         */        for (cpu = 0; cpu cmt_cpus_actv); cpu++) {            newcp = GROUP_ACCESS(&tpg->cmt_cpus_actv, cpu);            if (newcp->cpu_part == tp->t_cpupart &&                newcp->cpu_dispatch_pri == -1) {                cp = newcp;                break;            }        }
我们在目标group里面找一个idle cpu来跑。
    }    return (cp);
返回找到的那个cpu或者没找到就返回cpu_choose的cpu。
}
               
               
               
               
               
               
               
               
               
               
               

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u1/41699/showart_1291499.html