skb占用page的释放时机

openspace

回复 10# humjb_1983


    少量的 skb 可能是 cache 的原因
    可以在工作一段时间后，断网，然后清理一下 cache，看看会不会有清理不掉的

humjb_1983

你说的cache是，页缓存？这个好像不太可能吧？呵呵

smalloc

关机程序,一般是进程,就协议栈讲,推后的ksoftirqd内核线程的存在就预示着某些skb还存在.
另外就是某些等到调度的含socket的进程.

humjb_1983

smalloc 发表于 2014-02-27 15:05
关机程序,一般是进程,就协议栈讲,推后的ksoftirqd内核线程的存在就预示着某些skb还存在.
另外就是某些等到 ...

呵呵，感谢，正常关机，是先kill进程的，我检测的时机应该是在所有进程都kill了之后的，按理不应该才对，还需要打点确认，暂时没时间搞。~

smalloc

回复 7# humjb_1983


    "在我们的测试中，发现在关机的时候，有skb未被正确释放的情况"
这个未正确释放的信息是如何得到的?系统提示?自己加测试点打印?
另外正确和不正确的区别是什么?

看了下关机基本上是调用reboot syscall,而这个函数的实现是不负责关闭其他进程的.
所以关闭其他进程的任务是在halt , power off, shutdown , reboot 这些app中完成的.
而这些函数只能通过kill调用关闭其他函数,为了合理完成关闭,一般是发终止信号,而不应该发系统强制终止信号.
其他程序收到终止信号会自己释放相关socket ,从而释放内核态中相关skb.
但其他应用程序也可以屏蔽或修改终止信号处理程序.
如果一律使用强制终止,就会导致应用层逻辑上的失缺或不完善.
另调用reboot的APP不能保证在调用reboot 之前其他程序已经都终止了. 这必然造成某些skb带电消失了.

humjb_1983

smalloc 发表于 2014-02-28 09:18
回复 7# humjb_1983

情况是这样的，实际在在Xen虚拟化环境中，批量关闭虚拟机时发现的问题，由于虚拟机关闭的时候xen相关进程会
检查sbk及其他内存的回收情况，如果有没有释放的skb，将导致关机流程挂起，实际测试发生了这样的情况。

关虚拟机时，调用的是标准的接口，走的应该是正常shutdown的流程，即会先想所有进程发15信号，n秒后，再向
所有进程发9信号，然后再继续关机。

理论上，即使是通过kill -9关闭进程时，也会走内核的do_exit流程，其中应该会回收进程占用的相关资源，包括socket，
所以，看似应该也会回收skb的。

所以，觉得有点怪异，除非skb在内核中会有什么缓存机制，存在一直不回收的情况~猜的~

smalloc

回复 16# humjb_1983


    发2个信号,红帽的sysVinit版本的shutdown这么做的,ubantu的upstart版本不是这么做的.

1.         /* First idle init. */
   
2.         if (kill(1, SIGTSTP) < 0) {
   
3.                 fprintf(stderr, "shutdown: can't idle init: %s.\r\n", strerror(errno));
   
4.                 exit(1);
   
5.         }
   
6. 
   
7.         /* Kill all processes. */
   
8.         fprintf(stderr, "shutdown: sending all processes the TERM signal...\r\n");
   
9.         kill(-1, SIGTERM);
   
10.         sleep(sltime ? atoi(sltime) : 3);
    
11.         fprintf(stderr, "shutdown: sending all processes the KILL signal.\r\n");
    
12.         (void) kill(-1, SIGKILL);
    

复制代码

humjb_1983

呵呵，我们用的是redhat的版本，其他版本确实不清楚，感谢~~

smalloc

回复 18# humjb_1983


    跟踪reboot syscall流程,目前还未发现协议栈核心有清空缓存的skb的迹象.这部分在reboot时有保留的可能.
也即 softnet_data *queue这个 per_cpu队列中,因为网络的关闭未发现对这里的skb做清除.事实上只看见有net_dev_init,未见到相反的动作.

humjb_1983

smalloc 发表于 2014-02-28 18:31
回复 18# humjb_1983

你说的“缓存的skb”，具体缓存在哪里？
进程自身占用的资源，应该在进程退出的时候自己负责回收的吧？不应该由reboot来干吧~，呵呵

谢谢！