谁能解释下内核级并行？

henrystark

我们知道，内核可以看做一个大进程（别问我怎么知道的，说不清。）
但是并行依然存在，只是不知道这时候并行的是“线程级”还是“进程级”。

最近在处理TCP逻辑时，发现需要弄清楚并行这个问题。
TCP代码有全局变量，比如sysctl对应的变量，也有局部变量，就是结构体了，最常见的形式为tp->snd_cwnd；这样的。
全局变量访问需要加锁，这很好理解，因为有多个tcp_sock结构体可能同时访问同一个全局变量。
局部变量少见加锁，但仍然存在并行，比如接收端连续收到一批数据包，当给有的数据包回复ACK时，有些数据包却同时在向上层提交，这个过程应该是并行的，否则太慢。我在实际代码不同位置打印的接受队列也证实了这一点，发送ACK时打印的接受队列和接收缓存调节时打印的接受队列完全不同。

谁能解释下，上面的提到的并行，在内核中是如何管理的？对于同一个tcp流，也就是同一个tcp_sock结构体，也仍然存在并行，却少有加锁，这如何实现？

humjb_1983

能否举个局部变量加锁的例子？呵呵
好像没见过~~

henrystark

回复 2# humjb_1983
事实上，我也很少见到。所以才对并行处理有困惑。

加锁的例子，在timer里最常见，例如tcp_timer:
//这里加了自旋锁
        bh_lock_sock(sk);
        if (sock_owned_by_user(sk)) {
完整代码请参阅LXR tcp_timer.c static void tcp_delack_timer(unsigned long data)函数

其余的加锁大多是“userlock”，我也没完全弄懂这个。例如tcp_input.c tcp_rcv_space_adjust函数中：
//sk_userlocks
                if (sysctl_tcp_moderate_rcvbuf &&
                    !(sk->sk_userlocks & SOCK_RCVBUF_LOCK)) {
                        int new_clamp = space;

这里解释一下：sock tcp_sock结构体，对应每条流，其中的变量也是每条流私有的。结构体变量就是内核维护局部变量的方式。
我对”局部变量“这个词，上面没有解释清楚。我的意思是指结构体变量。   

asuka2001

回复 3# henrystark

虽然没有仔细查看代码，但是明显定时器属于异步事件！自然需要加锁串行化！

也就是说，tcp_sock的访问不仅仅只是当前的执行流，还有可能出现定时器到期，访问该tcp_sock。

至于关闭了底半，定时器能不能同时在其他cpu上执行？说实话有点忘记了，只记得定时器好像是默认在schedule的CPU上执行，能否迁移到其他CPU请其他人确认下！

humjb_1983

henrystark 发表于 2014-03-06 17:52
回复 2# humjb_1983
事实上，我也很少见到。所以才对并行处理有困惑。

这里的sk应该都是从slab里面分配的
sk = kmem_cache_alloc(slab, priority & ~__GFP_ZERO);
不是真正的局部变量(在栈中分配)，所以并发时应该是需要加锁保护的~。

henrystark

回复 5# humjb_1983
只关注TCP层的代码了，没注意到sk是用高速内存分配的。
cache高速内存算是哪个区？
高速体现在哪里？好似是管理方式更好？

   

humjb_1983

henrystark 发表于 2014-03-07 18:26
回复 5# humjb_1983
只关注TCP层的代码了，没注意到sk是用高速内存分配的。
cache高速内存算是哪个区？
...

内核中就没有什么区的概念了，物理内存都是伙伴系统负载分配和管理的，对于整个内核来说，应该都是可见的。