主机故障救助

weiruichu

有一台主机，6800出现一个死进程，并且从vmstat 中可以看到PROC 中的b 项数值很大，杀掉死进程的父进程后死进程结束，但是proc项中的b项还是很高。
top 输出：
  load averages:  2.89,  2.04,  1.75                                                                                         17:51:42
141 processes: 137 sleeping, 3 stopped, 1 on cpu
CPU states: 46.0% idle,  4.7% user,  2.8% kernel, 46.5% iowait, 0.0% swap
Memory: 16G real, 5966M free, 52M swap in use, 8141M swap free

  PID USERNAME THR PRI NICE  SIZE   RES STATE   TIME    CPU COMMAND
16325 nmosuser   2  58    0    0K    0K sleep 248.7H  5.44% oninit
16323 nmosuser   2  50    0    0K    0K sleep 686.2H  2.12% oninit
16324 nmosuser   2  54    0    0K    0K sleep 435.7H  2.11% oninit
16273 nmosuser   2  48    0    0K    0K sleep 361.6H  1.17% oninit
16326 nmosuser   2  58    0    0K    0K sleep 124.0H  0.87% oninit
16327 nmosuser   2  58    0    0K    0K sleep  55.9H  0.67% oninit
9661 npmuser    5  52    2   15M   14M sleep   0:07  0.41% perl5.8.0
9648 npmuser    4  52    2   12M   11M sleep   0:17  0.38% perl5.8.0
20841 npmuser    5  22    2   18M   17M sleep   0:01  0.37% perl5.8.0
20819 npmuser    5  40    2   18M   17M sleep   0:01  0.37% perl5.8.0
20832 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0
20829 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0
20835 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0
20838 npmuser    5  22    2   18M   16M sleep   0:01  0.35% perl5.8.0
20827 npmuser    5  19    2   18M   17M sleep   0:01  0.34% perl5.8.0


vmstat 输出：
     $ vmstat 1
procs     memory            page            disk          faults      cpu
r b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id
0 0 0 10573000 5161352 0 0  0  0  0  0  0 28  1  0  0 4294967196 0 0 -82 -462 -377
0 4294967291 0 11216976 6209320 1 7 0 16 8 0 0 0 1 0 0 803 1884 1604  1  1 98
0 4294967291 0 11216976 6209328 0 0 0 0 0 0 0 0 0 0 0  760 2213 1823  1  1 98
0 4294967291 0 11216976 6209328 1 3 0 16 8 0 0 1 1 0 0 784 2021 1506  1  2 97
0 4294967291 0 11216968 6209320 0 0 0 0 0 0 0 0 0 0 0  682 1311 1277  1  0 99
0 4294967291 0 11217008 6209320 42 612 0 16 16 0 0 2 0 0 0 806 2774 1888 2 1 97
0 4294967291 0 11203632 6208952 179 1618 0 24 16 0 0 97 1 0 0 1405 5786 2855 3 3 93
0 4294967291 0 11230608 6221960 8 121 0 24 16 0 0 184 1 0 0 1593 1183 1401 1 0 99


iostat 输出：
   $ iostat 1
   tty        sd0           sd1           sd6           sd30           cpu
tin tout kps tps serv  kps tps serv  kps tps serv  kps tps serv   us sy wt id
668  153 252  28   18   48   1    6    0   0   18    0   0    0    9 50 23 18
157  297   0   0    0   16   1    1    0   0    0    0   0    0    3  1 48 48
244  507 1753  47   22    0   0    0    0   0    0    0   0    0    5  5 47 44
   0   81   0   0    0    0   0    0    0   0    0    0   0    0    9  2 48 41
   0   80 865   4   28    8   1   12    0   0    0    0   0    0    7  3 46 45
   0   80   0   0    0   16   1    6    0   0    0    0   0    0    8  2 47 43
   0   80 875   2   21    0   0    0    0   0    0    0   0    0   12  3 36 49
  86  228 187   2   10    8   1    6    0   0    0    0   0    0   18  4 41 36
   0   80   0   0    0    0   0    0    0   0    0    0   0    0    7  1 48 44
没有系统日志

请问下这会些什么原因导致的呢？

todaypuzzleme

上面top,vmstat,iostat是同一时间的输出吗？top和iostat的信息比较符合，iowait很高，但是磁盘没有操作，tty有在传输文件或者执行其他任务？

weiruichu

没有，现在找了个高手解决了。
     方法就是重启－－但是问题出现了，就是挂的四条光路全部掉了。后来又找了一个高手，他用verstas的磁盘扫描恢复了两条，还有一条说可以是光纤卡出问题了，问题还在后继中。

wstar

高手，就是重启机器。
呵呵。

todaypuzzleme

楼上那位确实很牛，要是我，可不敢重启，谁知道能不能起来