主机故障救助

weiruichu

有一台主机，6800出现一个死进程，并且从vmstat 中可以看到PROC 中的b 项数值很大，杀掉死进程的父进程后死进程结束，但是proc项中的b项还是很高。\r\n top 输出：\r\n  load averages:  2.89,  2.04,  1.75                                                                                         17:51:42\r\n141 processes: 137 sleeping, 3 stopped, 1 on cpu\r\nCPU states: 46.0% idle,  4.7% user,  2.8% kernel, 46.5% iowait, 0.0% swap\r\nMemory: 16G real, 5966M free, 52M swap in use, 8141M swap free\r\n\r\n  PID USERNAME THR PRI NICE  SIZE   RES STATE   TIME    CPU COMMAND\r\n16325 nmosuser   2  58    0    0K    0K sleep 248.7H  5.44% oninit\r\n16323 nmosuser   2  50    0    0K    0K sleep 686.2H  2.12% oninit\r\n16324 nmosuser   2  54    0    0K    0K sleep 435.7H  2.11% oninit\r\n16273 nmosuser   2  48    0    0K    0K sleep 361.6H  1.17% oninit\r\n16326 nmosuser   2  58    0    0K    0K sleep 124.0H  0.87% oninit\r\n16327 nmosuser   2  58    0    0K    0K sleep  55.9H  0.67% oninit\r\n 9661 npmuser    5  52    2   15M   14M sleep   0:07  0.41% perl5.8.0\r\n 9648 npmuser    4  52    2   12M   11M sleep   0:17  0.38% perl5.8.0\r\n20841 npmuser    5  22    2   18M   17M sleep   0:01  0.37% perl5.8.0\r\n20819 npmuser    5  40    2   18M   17M sleep   0:01  0.37% perl5.8.0\r\n20832 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0\r\n20829 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0\r\n20835 npmuser    5  22    2   18M   17M sleep   0:01  0.36% perl5.8.0\r\n20838 npmuser    5  22    2   18M   16M sleep   0:01  0.35% perl5.8.0\r\n20827 npmuser    5  19    2   18M   17M sleep   0:01  0.34% perl5.8.0\r\n\r\n\r\nvmstat 输出：\r\n     $ vmstat 1\r\n procs     memory            page            disk          faults      cpu\r\n r b w   swap  free  re  mf pi po fr de sr s0 s1 s6 s3   in   sy   cs us sy id\r\n 0 0 0 10573000 5161352 0 0  0  0  0  0  0 28  1  0  0 4294967196 0 0 -82 -462 -377\r\n 0 4294967291 0 11216976 6209320 1 7 0 16 8 0 0 0 1 0 0 803 1884 1604  1  1 98\r\n 0 4294967291 0 11216976 6209328 0 0 0 0 0 0 0 0 0 0 0  760 2213 1823  1  1 98\r\n 0 4294967291 0 11216976 6209328 1 3 0 16 8 0 0 1 1 0 0 784 2021 1506  1  2 97\r\n 0 4294967291 0 11216968 6209320 0 0 0 0 0 0 0 0 0 0 0  682 1311 1277  1  0 99\r\n 0 4294967291 0 11217008 6209320 42 612 0 16 16 0 0 2 0 0 0 806 2774 1888 2 1 97\r\n 0 4294967291 0 11203632 6208952 179 1618 0 24 16 0 0 97 1 0 0 1405 5786 2855 3 3 93\r\n 0 4294967291 0 11230608 6221960 8 121 0 24 16 0 0 184 1 0 0 1593 1183 1401 1 0 99\r\n\r\n\r\niostat 输出：\r\n   $ iostat 1\r\n   tty        sd0           sd1           sd6           sd30           cpu\r\n tin tout kps tps serv  kps tps serv  kps tps serv  kps tps serv   us sy wt id\r\n 668  153 252  28   18   48   1    6    0   0   18    0   0    0    9 50 23 18\r\n 157  297   0   0    0   16   1    1    0   0    0    0   0    0    3  1 48 48\r\n 244  507 1753  47   22    0   0    0    0   0    0    0   0    0    5  5 47 44\r\n   0   81   0   0    0    0   0    0    0   0    0    0   0    0    9  2 48 41\r\n   0   80 865   4   28    8   1   12    0   0    0    0   0    0    7  3 46 45\r\n   0   80   0   0    0   16   1    6    0   0    0    0   0    0    8  2 47 43\r\n   0   80 875   2   21    0   0    0    0   0    0    0   0    0   12  3 36 49\r\n  86  228 187   2   10    8   1    6    0   0    0    0   0    0   18  4 41 36\r\n   0   80   0   0    0    0   0    0    0   0    0    0   0    0    7  1 48 44\r\n没有系统日志\r\n\r\n请问下这会些什么原因导致的呢？

todaypuzzleme

上面top,vmstat,iostat是同一时间的输出吗？top和iostat的信息比较符合，iowait很高，但是磁盘没有操作，tty有在传输文件或者执行其他任务？

weiruichu

没有，现在找了个高手解决了。\r\n     方法就是重启－－但是问题出现了，就是挂的四条光路全部掉了。后来又找了一个高手，他用verstas的磁盘扫描恢复了两条，还有一条说可以是光纤卡出问题了，问题还在后继中。

wstar

高手，就是重启机器。\r\n呵呵。

todaypuzzleme

楼上那位确实很牛，要是我，可不敢重启，谁知道能不能起来