Freebsd 所有进程都是keglim 状态怎么办？

Reinstall

FreeBSD 9.0 AMD64系统做FNMP 的WEB服务器，运行一段时间后，通过TOP命令查看，php-fpm增加数十倍，并且所有的进程都进入了“keglim” 状态。 内存占用也超过正常时数十倍，几乎服务器进行死锁状态，（但网络地址能ping通），这种状态发生时，如果已经一个已登录的SSH连接，还能继续工作，但无法新建登录连接。

201 processes: 1 running, 200 sleeping
CPU:     % user,     % nice,     % system,     % interrupt,     % idle
Mem: 1267M Active, 144M Inact, 417M Wired, 78M Cache, 213M Buf, 62M Free
Swap: 4096M Total, 274M Used, 3822M Free, 6% Inuse

  PID USERNAME  THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
2866 www         1  20    0 80568K  4356K keglim  1   0:54  0.00% nginx
2864 www         1  20    0 80568K  4880K keglim  2   0:43  0.00% nginx
2867 www         1  20    0 88760K 11924K keglim  1   0:39  0.00% nginx
2865 www         1  20    0 84664K  4212K keglim  0   0:35  0.00% nginx
3943 root        1  20    0   145M  8944K kqread  2   0:02  0.00% php-fpm
4340 www         1  20    0   153M 19488K keglim  2   0:01  0.00% php-fpm
4329 www         1  20    0   153M 19932K keglim  2   0:01  0.00% php-fpm
4316 www         1  20    0   157M 15796K keglim  1   0:01  0.00% php-fpm
1006 _pflogd     1  20    0 12316K   736K bpf     2   0:01  0.00% pflogd
4335 www         1  20    0   157M 17028K keglim  0   0:01  0.00% php-fpm
4324 www         1  20    0   149M 13580K keglim  2   0:01  0.00% php-fpm
2544 root        1  20    0 68016K  1736K select  3   0:01  0.00% sshd
4351 www         1  20    0   153M 19668K keglim  3   0:01  0.00% php-fpm
4333 www         1  20    0   155M 19080K keglim  3   0:01  0.00% php-fpm
4345 www         1  20    0   157M 20436K keglim  1   0:01  0.00% php-fpm
4325 www         1  20    0   157M 17688K keglim  1   0:01  0.00% php-fpm
4315 www         1  20    0   157M 20528K keglim  3   0:01  0.00% php-fpm
4304 www         1  20    0   153M 17316K keglim  3   0:01  0.00% php-fpm
4302 www         1  20    0   153M 14612K keglim  0   0:01  0.00% php-fpm
4317 www         1  20    0   153M 16556K keglim  0   0:01  0.00% php-fpm
4330 www         1  20    0   157M 17696K keglim  0   0:01  0.00% php-fpm
4309 www         1  20    0   157M 20136K keglim  2   0:01  0.00% php-fpm
4293 www         1  20    0   157M 19960K keglim  0   0:01  0.00% php-fpm
4323 www         1  20    0   149M 15332K keglim  3   0:01  0.00% php-fpm
4233 www         1  20    0   153M 16756K keglim  0   0:01  0.00% php-fpm

出现这种情况怎么办？

lsstarboy

看看这个提示
http://forums.freebsd.org/showthread.php?t=11880

lsstarboy

提示：上面的链接应该先看这几个命令的结果：
netstat -m
vmstat -i
systat -vm

Reinstall

那个链接我看过了，就是找不到解决的方法，才到这里来。 他们最后谈到了handbook，但他们也没有说出最终的解决办法。handbook中提到的参数优化，我也做过了

贴上出故障时的netstat

#netstat -m
21004/9056/30060 mbufs in use (current/cache/total)
2076/724/2800/65536 mbuf clusters in use (current/cache/total/max)
2076/336 mbuf+clusters out of packet secondary zone in use (current/cache)
16896/0/16896/16896 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/8448 9k jumbo clusters in use (current/cache/total/max)
0/0/0/4224 16k jumbo clusters in use (current/cache/total/max)
77018K/3712K/80730K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
38938 requests for I/O initiated by sendfile
0 calls to protocol drain routines

lsstarboy

第四行达到最大值了，这个肯定不正常，是什么引起的就不懂了，增加点试试，应该对应于内核变量kern.ipc.nmbjumbop：

16896/0/16896/16896 4k (page size) jumbo clusters in use (current/cache/total/max)

另外中断值正常吗？怀疑你的网卡会有问题。

Reinstall

我注意到了这个问题，已经把 kern.ipc.nmbjumbop=32768。

另外，你说的中断值，我不知道该怎么看。 我也不太确定如何判定网卡有无问题。

mirnshi

Reinstall 发表于 2012-02-27 23:14
我注意到了这个问题，已经把 kern.ipc.nmbjumbop=32768。

另外，你说的中断值，我不知道该怎么看。 我也 ...

启用了jumbo? 一般情况下没啥用的。

mirnshi

网络能ping通，基本排除协议栈的问题。网络层的概率小一些。icmp-request的处理是内核处理的，不涉及应用层，至于udp/tcp都需要应用层的配合，这就要消耗非网络的资源了。

vmstat -i是检查中断的，如果有中断风暴了，可以查看哪个设备引起的。至于systat -vm就是概括了解而已。

似乎问题出在php-fpm上，可以使用lsof检查这些进程。可能是文件句柄数不够用了。下面参数很重要，值得检查确认。
kern.maxproc
kern.maxfiles
kern.maxfilesperproc
kern.ipc.maxsockbuf
kern.ipc.somaxconn
kern.ipc.maxsockets

mirnshi

另外，生产系统不建议使用最新的版本。存在bug的驱动也会导致资源的过度消耗。比如7上自带的Intel的10Gb驱动似乎就存在问题，大流量下会导致网络资源（mbuf）不够用，其实Intel的最新驱动已经做了修复。

lsstarboy

ifconfig？