最近服务器经常IOWAIT 到90%致使网站瘫痪

eetopjack

top的结果如下：

top - 10:09:46 up 149 days, 47 min,  3 users,  load average: 558.96, 254.20, 111.10
Tasks: 927 total,   3 running, 895 sleeping,   0 stopped,  29 zombie
Cpu(s):  1.9%us,  1.5%sy,  0.0%ni,  0.0%id, 96.5%wa,  0.0%hi,  0.2%si,  0.0%st
Mem:  16331468k total, 16112440k used,   219028k free,     4464k buffers
Swap:  8191992k total,  2760148k used,  5431844k free,   389548k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                              
   13 root      20   0     0    0    0 S 10.2  0.0   3436:16 ksoftirqd/2                           
   19 root      20   0     0    0    0 S  0.8  0.0  19:46.92 events/0                              
    9 root      20   0     0    0    0 S  0.3  0.0   4732:30 ksoftirqd/1                           
   17 root      20   0     0    0    0 S  0.2  0.0   3181:08 ksoftirqd/3                           
24532 mysql     20   0 3133m 355m 3068 S  0.1  2.2  83:51.45 mysqld                                
12682 jackzhan  20   0 15692 1828  848 R  0.1  0.0   0:00.83 top                                   
7900 root      20   0  487m 8168 4080 D  0.1  0.1   0:10.67 httpd                                 
10294 apache    20   0  529m  31m 7624 D  0.1  0.2   0:07.52 httpd                                 
10314 apache    20   0  524m  17m 7676 D  0.1  0.1   0:10.76 httpd                                 
10376 apache    20   0  533m  31m 7672 D  0.1  0.2   0:08.37 httpd                                 
10414 apache    20   0  548m  31m 7636 D  0.1  0.2   0:08.78 httpd                                 
9675 apache    20   0  529m  37m 7608 D  0.0  0.2   0:12.34 httpd                                 
9683 apache    20   0  531m  31m 7680 D  0.0  0.2   0:15.42 httpd                                 
9821 apache    20   0  533m  22m 7688 D  0.0  0.1   0:15.53 httpd                                 
9904 apache    20   0  529m  31m 7608 D  0.0  0.2   0:13.52 httpd                                 
9957 apache    20   0  522m  31m 7608 D  0.0  0.2   0:10.61 httpd                                 
9976 apache    20   0  529m  31m 7616 D  0.0  0.2   0:13.11 httpd                                 
10029 apache    20   0  531m  31m 7656 D  0.0  0.2   0:09.81 httpd                                 
10061 apache    20   0  522m  20m 7620 D  0.0  0.1   0:09.84 httpd                                 
10074 apache    20   0  533m  16m 7636 D  0.0  0.1   0:08.24 httpd                                 
10106 apache    20   0  544m  40m  16m D  0.0  0.3   0:14.81 ht


看不出内存耗尽啊，不知什么原因？ ssh后台登陆需要花很长时间才可以进去，然后再花很长时间重启apache之后就好了，运行一两天又会出现类似问题

minirat

一个top看不出具体的，试试iostat vmstat等命令

Shell_HAT

统计一下 apache 的 access log 里面的IP信息，看看是不是DDOS

eetopjack

218.199.207.115 - - [18/Apr/2014:09:59:57 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
210.13.87.250 - - [18/Apr/2014:09:59:58 +0800] "GET /pm.php?checknewpm=0.9167567
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:58 +0800] "GET /attachment.php?aid=NDY1Nz
@                                                                              
@                                                                              
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/l
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/m
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/m
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nj
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/pm_ntc.gif
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/notice_newp
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/ann_icon.gi
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /images/default/collapsed_n
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/p
116.247.100.50 - - [18/Apr/2014:09:59:59 +0800] "GET /templates/discuz6/images/n
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz
218.199.207.115 - - [18/Apr/2014:09:59:59 +0800] "GET /attachment.php?aid=NDY1Nz


截取了一段大概出问题的时间时的log ，  应该大部分都在下载

q1208c

就是在下载东西. apache 进程全在 "D" 状态.

你的网站上有片?

eetopjack

回复 5# q1208c


    全是D状态会有什么问题？我的网站是电子类资料网站，不是下片子的

sohusina

有时候光看日志是不够的，可以试试 strace,lsof查看是哪个进程造成的主要问题，然后对症下药。

q1208c

回复 6# eetopjack

D 状态的进程是在读/写IO, 说明你的网站IO量很大.

如果你用的是apache, 建议看看 limit 模块. 否则, 很容易很拖shi的.
   

eetopjack

回复 8# q1208c


    我的IO量应该比较大，不知道怎样看Limit模块？

  顺便发个感慨， 感觉到chinaunix的网友确实很热情水平也很高，比CSDN上的强很多啊！在此多谢大家了。

Shell_HAT

1. awk '{a[$1]++}END{for(i in a)print i"\t"a[i]}' access.log | sort -k2 -n -r | head -5

复制代码

看看访问量最大的5个IP是否存在嫌疑