服务器经常挂掉，80，21等端口打开，但是服务无法访问

walkerxk

去机房看过，插上键盘以后按NUMLOCK键没有反映，所以估计是系统资源被大量消耗的假死机，系统是ubuntu，不过好像有时间段的，有几天不正常过几天就好了，然后一个月内就没有问题，差不多过一个月又是这样，以前没有开虚拟主机的时候没有问题，所以怀疑是apache的问题：
下面是top时按照SWAP排序：可以看到apache明显比其他的服务器高很多，而且这是我优化以后的结果，前几天没有优化的时候是每个120m左右。现在的SWAP算正常的，不稳定的时候used大概是free的两倍。
Tasks: 448 total,   1 running, 447 sleeping,   0 stopped,   0 zombie
Cpu(s):  9.5% us,  1.3% sy,  1.1% ni, 58.6% id, 29.1% wa,  0.1% hi,  0.2% si
Mem:   2052244k total,  2035384k used,    16860k free,     6916k buffers
Swap:  1951856k total,   938896k used,  1012960k free,   221304k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  SWAP COMMAND
6816 mysql     16   0  575m  45m 2220 S  0.0  2.3  36:34.84 529m mysqld
10641 panjy     34  19  440m 289m 3468 S 35.7 14.4 158:56.75 151m python
12431 www-data  16   0  127m  12m 6204 S  0.0  0.6   0:02.71 114m apache2
12893 www-data  16   0  114m 7708 6088 S  0.0  0.4   0:01.21 106m apache2
24531 www-data  16   0  111m 5144 4996 S  0.3  0.3   0:08.32 106m apache2
12742 www-data  16   0  115m 8988 6164 S  0.0  0.4   0:01.81 106m apache2
12410 www-data  16   0  114m 7932 6172 S  0.0  0.4   0:00.95 106m apache2
12461 www-data  16   0  115m 9396 6048 S  0.0  0.5   0:01.10 106m apache2
12912 www-data  15   0  113m 7792 6048 S  0.0  0.4   0:01.74 106m apache2
14999 www-data  15   0  113m 7768 5960 S  0.0  0.4   0:00.42 106m apache2
12229 www-data  15   0  114m 7960 6200 S  0.0  0.4   0:01.01 106m apache2
14846 www-data  16   0  113m 7796 5960 S  0.0  0.4   0:00.44 106m apache2
12589 www-data  17   0  115m 9988 6144 D  0.7  0.5   0:02.28 106m apache2
13453 www-data  15   0  113m 7904 6088 S  0.0  0.4   0:00.55 106m apache2
14906 www-data  16   0  113m 7924 5964 S  0.0  0.4   0:00.62 106m apache2
14123 www-data  16   0  113m 7896 5996 S  0.0  0.4   0:02.08 106m apache2
13447 www-data  16   0  113m 7936 6168 S  0.0  0.4   0:01.18 106m apache2
14120 www-data  16   0  113m 7912 6044 S  0.0  0.4   0:00.42 106m apache2
13338 www-data  16   0  113m 8088 5996 S  0.0  0.4   0:00.46 106m apache2
12942 www-data  16   0  115m   9m 6120 S  0.0  0.5   0:01.61 105m apache2
12317 www-data  16   0  116m  11m 6160 S  0.0  0.6   0:00.97 105m apache2
12412 www-data  16   0  115m  10m 6256 S  0.0  0.5   0:00.96 104m apache2
13007 www-data  16   0  116m  11m 6144 S  0.0  0.6   0:02.53 104m apache2
12296 www-data  15   0  114m 9700 6136 S  0.0  0.5   0:00.51 104m apache2
13908 www-data  16   0  113m 9.8m 6068 S  0.0  0.5   0:00.34 104m apache2
12253 www-data  16   0  115m  11m 6164 S  0.0  0.6   0:02.72 103m apache2
14753 www-data  16   0  113m  10m 5968 S  0.0  0.5   0:00.43 103m apache2
12996 www-data  15   0  113m  10m 6264 S  0.0  0.5   0:01.37 103m apache2
12833 www-data  15   0  115m  12m 6232 S  0.0  0.6   0:02.03 103m apache2

这里是mrtg的信息：http://test.lupaworld.cn/mrtg/

还有，有谁知道怎么查看所有进程的SWAP情况么？如果直接用TOP，只能看到一小部分，如果用batch模式，默认没有SWAP那栏。
dmesg信息：前面的都是系统启动的内容，我想没有什么用，就不发了，这个是后面的部分。
[ 5011.093270] ip_tables: (C) 2000-2002 Netfilter core team
[104298.196088] TCP: Treason uncloaked! Peer 202.108.130.138:64327/80 shrinks window 1989837571:1989845176. Rep
aired.
[197651.374072] saslauthd[7071]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[197662.745798] saslauthd[7070]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[206465.576897] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[309438.338013] saslauthd[7068]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[309439.123949] saslauthd[7073]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[309440.231172] saslauthd[7072]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[320102.663685] ibm_acpi: ec object not found
[352573.096712] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[352573.104295] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[416142.323578] Losing some ticks... checking if CPU frequency changed.
Apache版本：
2.0.54
编译的模块：
Compiled in modules:
  core.c
  mod_access.c
  mod_auth.c
  mod_log_config.c
  mod_logio.c
  mod_env.c
  mod_setenvif.c
  prefork.c
  http_core.c
  mod_mime.c
  mod_status.c
  mod_autoindex.c
  mod_negotiation.c
  mod_dir.c
  mod_alias.c
  mod_so.c
启用以下模块：
bw.load（必需）
cgi.load
dav_fs.load
dav.load
dav_svn.load（必需）
fcgid.load
limitipconn.load（必需）
mod_python.load（必需）
perl.load（必需）
php4.load（必需）
proxy.load（必需）
rewrite.load（必需）
userdir.load
希望大家帮帮忙。

飘雪心辰

======================
服务器的宕机时间如果大部分都是在晚上到第二天的凌晨，不是我危言耸听，对于服务器的安全你得做一下检查，有两个自动化的工具很好的chkrootkit,rkhunter，当然你也可能查不出任何问题，你还得扩大范围，检索WEB服务运行的脚本安全性，python的我不懂，php的你可用关键字对网页进行检索以搜存木马，当然如果加密了检查是很难查找的。
/var/log/sysstat目录下没东东应该是sysstat没开启吧，/etc/init.d/sysstat start，如不行修改/etc/default/sysstat文件改成true。

原帖由 walkerxk 于 2007-4-6 11:18 发表于 19楼  

...

你这个top信息比前两个贴出来的价值高了好多，如果你不是四个单核cpu或者两个双核cpu那你这机子处于过载状态！特别是刚才的一分钟，不知道你打了什么命令负载有25，这种属于严重的过载，可以导致系统短暂的哑巴。你这个top里面足足有一百多个zombie!，我可以明白无误的告诉你负载进程处于不正常的状态下。

root      5233  0.0  0.0      0     0 ?        D<   08:35   0:00 [reiserfs/1]
root     11973  0.2  0.0      0     0 ?        D    10:35   0:03 [pdflush]

这个内核好像有问题的，或者外界在严重的干扰和影响内核（服务器负载极度高的情况下也会发生）。
可以提个醒：服务器的I/O有问题。

xinyv

解决方法很简单啊，老弟去买2条单条2G的内存差上就好了。
顺便在优化一下mpm

huanguuq

2052244k total,  2035384k used,
什么程序这么多内存

HonestQiao

1. mysql用得也很多，是否适合你当前的配置？
2. apache启用了哪些模块呢？

walkerxk

原帖由 huanguuq 于 2007-4-3 22:56 发表于 3楼  
2052244k total,  2035384k used,
什么程序这么多内存

有plone，这个比较占内存，还有mysql，其他的apache还好，不是特别高。
Tasks: 384 total,   1 running, 382 sleeping,   0 stopped,   1 zombie
Cpu(s): 28.6% us, 14.3% sy, 14.3% ni, 42.9% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:   2052244k total,  2024696k used,    27548k free,    18064k buffers
Swap:  1951856k total,   780692k used,  1171164k free,   516652k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  SWAP COMMAND                                      
10641 panjy     34  19  544m 399m 3780 S 53.7 19.9   2973:57 144m python                                       
6816 mysql     15   0  568m  60m 3128 S  0.0  3.0 172:50.17 508m mysqld                                       
11252 www-data  16   0  131m  38m 6520 S  0.0  1.9   0:01.05  93m apache2                                      
11140 www-data  16   0  121m  28m 6628 S  0.0  1.4   0:00.53  93m apache2                                      
10621 panjy     34  19 99.8m  28m 2360 D  0.0  1.4 805:34.35  71m python                                       
10894 www-data  16   0  121m  27m 6460 S  0.0  1.4   0:00.36  93m apache2                                      
10964 www-data  16   0  113m  19m 6596 S  0.0  1.0   0:01.55  93m apache2                                      
10392 www-data  16   0  112m  19m 6552 S  0.0  1.0   0:00.25  93m apache2                                      
11498 www-data  15   0  112m  19m 6552 S  0.0  1.0   0:00.26  93m apache2                                      
11464 www-data  15   0  112m  19m 6528 S  0.0  1.0   0:00.25  93m apache2                                      
10209 www-data  15   0  112m  19m 6552 S  0.0  0.9   0:00.30  93m apache2                                      
9746 www-data  16   0  112m  18m 6540 S  0.0  0.9   0:00.31  93m apache2                                      
10706 www-data  16   0  113m  18m 6524 S  0.0  0.9   0:00.45  94m apache2                                      
11107 www-data  16   0  111m  18m 6524 S  0.0  0.9   0:01.14  92m apache2                                      
10910 www-data  16   0  111m  18m 6544 S  0.0  0.9   0:00.65  92m apache2                                      
11037 www-data  16   0  112m  18m 6544 S  0.0  0.9   0:00.71  93m apache2                                      
10289 www-data  16   0  111m  18m 6476 S  0.0  0.9   0:00.34  92m apache2                                      
10385 www-data  16   0  111m  18m 6472 S  0.0  0.9   0:00.30  92m apache2                                      
10852 www-data  16   0  110m  18m 6556 S  0.0  0.9   0:00.23  92m apache2                                      
11462 www-data  16   0  110m  18m 6556 S  0.0  0.9   0:00.32  92m apache2                                      
9404 www-data  15   0  110m  18m 6528 S  0.0  0.9   0:00.40  92m apache2                                      
11081 www-data  15   0  110m  18m 6512 S  0.0  0.9   0:00.22  92m apache2                                      
10963 www-data  16   0  110m  18m 6524 S  0.0  0.9   0:00.30  92m apache2                                      
11529 www-data  16   0  110m  18m 6480 S  0.0  0.9   0:00.34  92m apache2                                      
11403 www-data  15   0  110m  18m 6464 S  0.0  0.9   0:00.21  92m apache2                                      
10564 www-data  16   0  110m  18m 6464 S  0.0  0.9   0:00.28  92m apache2                                      
10895 www-data  16   0  110m  18m 6464 S  0.0  0.9   0:00.24  92m apache2                                      
11257 www-data  16   0  110m  18m 6484 S  0.0  0.9   0:00.43  92m apache2                                      
10848 www-data  15   0  110m  18m 6464 S  0.0  0.9   0:00.46  92m apache2

[ 本帖最后由 walkerxk 于 2007-4-4 08:45 编辑 ]

walkerxk

原帖由 HonestQiao 于 2007-4-4 00:08 发表于 4楼  
1. mysql用得也很多，是否适合你当前的配置？
2. apache启用了哪些模块呢？

模块上面已经说了：
启用以下模块：
bw.load（必需）
cgi.load
dav_fs.load
dav.load
dav_svn.load（必需）
fcgid.load
limitipconn.load（必需）
mod_python.load（必需）
perl.load（必需）
php4.load（必需）
proxy.load（必需）
rewrite.load（必需）
userdir.load

my.cnf如下（已去掉空行和注释）
[client]
port                = 3306
socket                = /var/run/mysqld/mysqld.sock
[mysqld_safe]
socket                = /var/run/mysqld/mysqld.sock
nice                = 0
[mysqld]
user                = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket                = /var/run/mysqld/mysqld.sock
port                = 3306
basedir                = /usr
datadir                = /var/lib/mysql
tmpdir                = /tmp
language        = /usr/share/mysql/english
skip-external-locking
sort_buffer_size = 2M
read_buffer_size = 2M
set-variable = max_connections=200
myisam_sort_buffer_size = 64M
bind-address            = 127.0.0.1
key_buffer                = 384M
max_allowed_packet        = 1M
thread_stack                = 128K
thread_concurrency = 8
query_cache_size        = 32M
log-bin                        = /var/log/mysql/mysql-bin.log
max_binlog_size                = 104857600
skip-bdb
[mysqldump]
quick
quote-names
max_allowed_packet        = 16M
[mysql]
no-auto-rehash        # faster start of mysql but no tab completition
[isamchk]
key_buffer                = 256M
sort_buffer_size = 256M
read_buffer = 2M
write_buffer = 2M

飘雪心辰

==========================

原帖由 walkerxk 于 2007-4-4 08:43 发表于 5楼  

有plone，这个比较占内存，还有mysql，其他的apache还好，不是特别高。
Tasks: 384 total,   1 running, 382 sleeping,   0 stopped,   1 zombie
Cpu(s): 28.6% us, 14.3% sy, 14.3% ni, 42.9% id,  0.0% w ...

原帖由 walkerxk 于 2007-4-4 08:43 发表于 5楼  

有plone，这个比较占内存，还有mysql，其他的apache还好，不是特别高。
Tasks: 384 total,   1 running, 382 sleeping,   0 stopped,   1 zombie
Cpu(s): 28.6% us, 14.3% sy, 14.3% ni, 42.9% id,  0.0% w ...

这两个top的信息都没什么大问题的，只是第二个有个D僵尸进程，属于plone的，这个你要注意一下。

dmesg信息：前面的都是系统启动的内容，我想没有什么用，就不发了，这个是后面的部分。
[ 5011.093270] ip_tables: (C) 2000-2002 Netfilter core team
[104298.196088] TCP: Treason uncloaked! Peer 202.108.130.138:64327/80 shrinks window 1989837571:1989845176. Rep
aired.
[197651.374072] saslauthd[7071]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[197662.745798] saslauthd[7070]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[206465.576897] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[309438.338013] saslauthd[7068]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[309439.123949] saslauthd[7073]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[309440.231172] saslauthd[7072]: segfault at ffffffffab5f9180 rip 00002aaaabcb7d80 rsp 00007fffff9ee248 error 4
[320102.663685] ibm_acpi: ec object not found
[352573.096712] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[352573.104295] KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c (1542)
[416142.323578] Losing some ticks... checking if CPU frequency changed.

关于“KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c ”内核报错，这恳定是某个因素触发了内核的bug，建议你还是升级内核。（你的系统版本号多少）

这里是mrtg的信息：http://test.lupaworld.cn/mrtg/

你这个里面的Traffic Analysis怎么倒着走，流量也不高的。

set-variable = max_connections=200

你可把mysql允许连接数放大点比如八百一千的。

HonestQiao

cgi.load
fcgid.load
mod_python.load（必需）
perl.load（必需）
php4.load（必需）

你这个是干什么的服务器？
真是一个超级大整合，就差JSP了。

walkerxk

原帖由 飘雪心辰 于 2007-4-4 10:07 发表于 7楼  
这两个top的信息都没什么大问题的，只是第二个有个D僵尸进程，属于plone的，这个你要注意一下。

我现在去看的时候没有了，估计只是还没有被系统释放，应该没有什么关系。

原帖由 飘雪心辰 于 2007-4-4 10:07 发表于 7楼  
关于“KERNEL: assertion (cnt <= tp->packets_out) failed at net/ipv4/tcp_input.c ”内核报错，这恳定是某个因素触发了内核的bug，建议你还是升级内核。（你的系统版本号多少）

2.6.12-10-amd64-k8-smp ubuntu5.10在apt里面是最新的了。

原帖由 飘雪心辰 于 2007-4-4 10:07 发表于 7楼  
你这个里面的Traffic Analysis怎么倒着走，流量也不高的。

倒着走我想没有关系的吧，服务器上看流量不是很高，但是在机房的检测（也是mrtg）看流量非常高，而且是流出和流入倒一下。主要是内存都是满的，没有下来过，swap也是在50％左右不变。
mysql的连接数我已经调整到1000了。

[ 本帖最后由 walkerxk 于 2007-4-4 17:03 编辑 ]