内核中大量的tcp overflow的报错，寻求解决方法

Coolriver

一台Red hat 服务器，做负载交换，当连接达到上万后，内核里都报大量的这种错误，不知道各位有什么解决办法？

1. printk: 7277 messages suppressed.
   
2. TCP: time wait bucket table overflow
   
3. printk: 16031 messages suppressed.
   
4. TCP: time wait bucket table overflow
   
5. printk: 8401 messages suppressed.
   
6. TCP: time wait bucket table overflow
   
7. printk: 4277 messages suppressed.
   
8. TCP: time wait bucket table overflow
   
9. printk: 8677 messages suppressed.
   
10. TCP: time wait bucket table overflow
    
11. printk: 1027 messages suppressed.
    
12. TCP: time wait bucket table overflow
    
13. printk: 4217 messages suppressed.
    
14. TCP: time wait bucket table overflow
    
15. printk: 5709 messages suppressed.
    
16. TCP: time wait bucket table overflow
    
17. TCP: time wait bucket table overflow
    
18. TCP: time wait bucket table overflow

复制代码

另外想知道为什么会报这个错。谢谢。

platinum

1. 
   
2.         struct inet_timewait_sock *tw = NULL;
   
3.         const struct inet_connection_sock *icsk = inet_csk(sk);
   
4.         const struct tcp_sock *tp = tcp_sk(sk);
   
5.         int recycle_ok = 0;
   
6. 
   
7.         if (tcp_death_row.sysctl_tw_recycle && tp->rx_opt.ts_recent_stamp)
   
8.                 recycle_ok = icsk->icsk_af_ops->remember_stamp(sk);
   
9. 
   
10.         if (tcp_death_row.tw_count < tcp_death_row.sysctl_max_tw_buckets)
    
11.                 tw = inet_twsk_alloc(sk, state);
    
12. 
    
13.         if (tw != NULL) {
    
14.         ......
    
15.         ......
    
16.         ......
    
17.         } else {
    
18.                 /* Sorry, if we're out of memory, just CLOSE this
    
19.                  * socket up.  We've got bigger problems than
    
20.                  * non-graceful socket closings.
    
21.                  */
    
22.                 LIMIT_NETDEBUG(KERN_INFO "TCP: time wait bucket table overflow\n");
    
23.         }
    

复制代码

1. 
   
2. struct inet_timewait_sock *inet_twsk_alloc(const struct sock *sk, const int state)
   
3. {
   
4.         struct inet_timewait_sock *tw =
   
5.                 kmem_cache_alloc(sk->sk_prot_creator->twsk_prot->twsk_slab,
   
6.                                  GFP_ATOMIC);
   
7.         if (tw != NULL) {
   
8.                 ......
   
9.                 ......
   
10.                 ......
    
11.         }
    
12. 
    
13.         return tw;
    
14. }
    

复制代码

综上分析，几种可能导致提示这句话：
1、在 tcp_death_row.tw_count >= tcp_death_row.sysctl_max_tw_buckets 的情况下
2、在调用 kmem_cache_alloc 分配 tw 错误的情况下

估计你的情况是由于 “1” 导致的
尝试用 sysctl 增大 net.ipv4.tcp_max_tw_buckets 试试

renxiao2003

回复 2# platinum


    你是做LINUX C开发的吗？太强了，源码都找出来了。

platinum

回复  platinum


    你是做LINUX C开发的吗？太强了，源码都找出来了。
renxiao2003 发表于 2010-08-06 13:35

对于这种问题，最好的解决办法就是从代码入手，看因为什么提示

renxiao2003

回复 4# platinum


    是的。但是也要有良好的C功能。我就是C太烂了。

platinum

回复  platinum


    是的。但是也要有良好的C功能。我就是C太烂了。
renxiao2003 发表于 2010-08-06 13:57

不会啊，兄台不是程序员吗，C 是最基础的编程语言了，怎么会烂呢

renxiao2003

回复 6# platinum


    是程序员，但不是C程序员啊。做JAVA和NET的。

platinum

语法几乎相同，所以只要能看懂代码逻辑就行了，呵呵

renxiao2003

语法几乎相同，所以只要能看懂代码逻辑就行了，呵呵
platinum 发表于 2010-08-06 14:14

    但是像C语言的指针，在JAVA等语言里就没有，特别是C的*和&这些地址/指针操作的，多用几回就迷糊得很。不知道什么是什么了。

Coolriver

综上分析，几种可能导致提示这句话：
1、在 tcp_death_row.tw_count >= tcp_death_row.sysctl_max_tw_buck ...
platinum 发表于 2010-08-06 12:33

    tcp_death_row.tw_count

这个能统计到吗？
目前我把net.ipv4.tcp_max_tw_bucket已经从5000 改到10000了。

另外有一个问题想请教 platinum 对于大的连接（HTTP)的Server（64位的Linux)优化，有什么建议。

谢谢