per cpu

镇水铁牛

per cpu的实现类似数组+禁止抢占，如果原cpu id为1的线程现在被迁移到cpu id为2上，假设没有要访问per cpu数据的线程，会去运行在cpu 1上，
1. 那岂不是其原cpu id为1的数据就无法被访问了？
2. 还有它只是禁止抢占，没有禁止本地中断，如果岂不是中断中不能访问per cpu了？

nswcfd

2.中断上下文会发生内核抢占吗？

nswcfd

1. “假设没有要访问per cpu数据的线程，会去运行在cpu 1上，”，这句话没太理解……

=============================================

per_cpu的一个典型场景是作为counter计数。
如果不使用per_cpu，那势必要使用全局counter+全局lock或者使用atomic_add，smp下的性能受影响。
换成per_cpu，每个cpu只更新自己的counter就可以了，并且per_cpu变量的内存布局，尽量保证不同cpu的counter不共享cacheline，这样最大程度的保证性能。

关于为什么要disable抢占，我的理解是，由于更新操作不是原子的，要避免这个r-m-w序列分布在不同的cpu上来完成。

如果需要获取全局counter的值，只需要把所有cpu的局部counter遍历一下累加起来就行。
需要注意，访问其它cpu的per_cpu counter时，其它cpu还是有可能在同时更新其local counter的，所以得到的全局counter只是一个瞬间的不严格的快照而已。（可以称为“测不准”么 :p）
遍历过程本身不需要disable抢占，通常循环变量都是stack上的局部变量，就算变量线程在多个cpu之间跳来跳去，总是能保证安全完成遍历的。——也许hotplug cpu的场景除外。

镇水铁牛

问题1：
        /*
         * We do not migrate tasks that are:
         * 1) running (obviously), or
         * 2) cannot be migrated to this CPU due to cpus_allowed, or
         * 3) are cache-hot on their current CPU.
         */
问题2：
        如果你真要在中断中访问per cpu，范例如下：
                    local_irq_save(flags);
                pvec = &__get_cpu_var(lru_rotate_pvecs);
                if (!pagevec_add(pvec, page))
                        pagevec_move_tail(pvec);
                local_irq_restore(flags);

nswcfd

2. 可以看一下 Document/local_ops.txt

- Preemption (or interrupts) must be disabled when using local ops in
  process context to   make sure the process won't be migrated to a
  different CPU between getting the per-cpu variable and doing the
  actual local op.
- When using local ops [in interrupt context], no special care must be
  taken on a mainline kernel, since they will run on the local CPU [with
  preemption already disabled]. I suggest, however, to explicitly
  disable preemption anyway to make sure it will still work correctly on
  -rt kernels.

您举的这个例子，入口/出口用到了irq_save/irq_restore，说明这段代码即可被用在interrupt context，也可用在process context。
如果仅用在interrupt context，就没有必要save和restore了。

不过也许您讨论的上下文是-rt内核，那上面那段话就不成立了。

回复 4# 镇水铁牛


   

镇水铁牛

回复 5# nswcfd
我把2.6初期的内核和最新的内核对比着看，是有很大差异。