讨论：死机的定位方法

humjb_1983

经常遇到死机问题，总结下可分为如下几类：
1、系统无法正常调度，但还能响应中断，外在表现为：能ping通或是键盘灯能点亮，但系统无法登陆，无法操作。
2、软件问题导致系统挂死，不能响应中断，无任何反应。通常是内核panic或oops导致。
3、硬件问题导致系统挂死，不能响应中断，无任何反应。
对于1，分析定位相对简单，由于调度异常，系统日志可能无法记录，但是由于还能响应中断，通常可以采用sysrq组合键打印进程堆栈、cpu上下文、内存信息等，另外，内核自身的调测机制(比如watchdog)也能检测到相关异常，此类问题常见原因为硬盘故障、oom、softlockup等。
对于2，通过部署kdump和nmi_watchdog应能捕获vmcore，尚能定位问题。
对于3，对于内核能检测到的硬件错误，通常内核能捕获到相关信息，比如mce错误,IIO错误，但还有很多的致命硬件故障可能导致系统直接挂死(平时工作中遇到的案例比较多)，内核无法检测到，对于这种故障通常束手无策，还请大家一起讨论下是否有相应的分析定位手段？另外，对于前两种故障，是否还有其他的高效定位手段，也请畅所欲言~

瀚海书香

回复 1# humjb_1983

经常遇到死机问题，总结下可分为如下几类：
1、系统无法正常调度，但还能响应中断，外在表现为：能ping通或是键盘灯能点亮，但系统无法登陆，无法操作。
2、软件问题导致系统挂死，不能响应中断，无任何反应。通常是内核panic或oops导致。
3、硬件问题导致系统挂死，不能响应中断，无任何反应。
对于1，分析定位相对简单，由于调度异常，系统日志可能无法记录，但是由于还能响应中断，通常可以采用sysrq组合键打印进程堆栈、cpu上下文、内存信息等，另外，内核自身的调测机制(比如watchdog)也能检测到相关异常，此类问题常见原因为硬盘故障、oom、softlockup等。
对于2，通过部署kdump和nmi_watchdog应能捕获vmcore，尚能定位问题。
对于3，对于内核能检测到的硬件错误，通常内核能捕获到相关信息，比如mce错误,IIO错误，但还有很多的致命硬件故障可能导致系统直接挂死(平时工作中遇到的案例比较多)，内核无法检测到，对于这种故障通常束手无策，还请大家一起讨论下是否有相应的分析定位手段？另外，对于前两种故障，是否还有其他的高效定位手段，也请畅所欲言~

1. 有可能是协议栈出问题，导致网络(ssh)无法访问，但是可以通过键盘操作
2. 有些panic的问题，如果牵扯到内存跑飞或乱踩，那kdump定位的点并不一定是第一案发现场，这类问题比较头痛

   

openspace

回复 2# 瀚海书香


   确实， kdump 捕获的多半不是第一现场，一般这样的 bug 只能顺着 backtrace 加 YY 来找了，牛除外

hellolfh

我就会看系统日志 可是有时候死机的时候日志打印不出来怎么办

humjb_1983

瀚海书香 发表于 2014-01-07 14:25
回复 1# humjb_1983

1. 有可能是协议栈出问题，导致网络(ssh)无法访问，但是可以通过键盘操作
----- 对的，这种问题通常比较好办，打内核堆栈，再进行分析，还可以在线调试~

2. 有些panic的问题，如果牵扯到内存跑飞或乱踩，那kdump定位的点并不一定是第一案发现场，这类问题比较头痛
----- 同感，这种问题比较麻烦，只能根据内存、寄存器和其他相关进程的堆栈和内存分布等信息抽丝剥茧一步步来了，这个时候要靠经验、对相关流程的理解程度、甚至人品了。

humjb_1983

openspace 发表于 2014-01-07 14:58
回复 2# 瀚海书香

大多数情况，kdump信息还是比较有用的，vmcore已经是内核能搜集的最详细的信息了，对于这种问题看似没有好的办法能抓到第一现场。

humjb_1983

hellolfh 发表于 2014-01-07 15:51
我就会看系统日志 可是有时候死机的时候日志打印不出来怎么办

最有用的应该是接串口，死机的时候syslog很可能不能正常调度或运行，但相关信息会直接打印到终端上。

smalloc

非第一现场很难，即便是在用户空间

humjb_1983

smalloc 发表于 2014-01-08 12:34
非第一现场很难，即便是在用户空间

确实如此，看来这是公认的难题，用户态目前还能有一些辅助工具(比如内存越界以及跟踪工具)帮助定位问题。

todaygood

1、系统无法正常调度，但还能响应中断，外在表现为：能ping通或是键盘灯能点亮，但系统无法登陆，无法操作。
-》
1）需要进机房，一般不太容易有些麻烦，除非服务器就在你公司内部。
2）接键盘之后也无法登录的情况也有，这时也不容易定位啊
实际工作中，这类问题基本没有搞定过。