磁盘阵列问题导致宕机的一个案例

gahg

1.     情况描述
服务器在宕机后，不能正常启动，经过一些常规的domino检查和调整后，也是不能正常启动Domino服务器。服务器在启动的时候，只能出现软件的版本说明，还不能进入正常的启动进程。如下显示图：
#########################################################
Lotus Domino(r) Server, Release 6.5.4 FP2，May 14， 2005
Copyright（c）IBM Corporation 1987，2005. All Rights Reserved.
#########################################################
在以下提示出现后，紧接着就服务器宕机的提示。
因为Domino服务器在正常使用的情况下，突然宕机，而且覆盖安装domino服务器也不能正常启动。
2. 原因分析
出现这种严重的宕机事故，根据经验，我们按照常规步骤，检查了服务器的配置信息：
1、检查操作系统补丁和软件补丁的安装情况。发现操作平台Solaris的补丁是按照Domino6.5.4的要求已经安装的，Domino的平台的补丁也是安装到最新的FP2。
2、检查服务器的Notes.ini文件，没有发现特殊的参数。
3、检查服务器文档也没有发现服务器的一些异常的配置。
     
我们采取以下紧急排查步骤：
1、             替换Names.nsf数据库，再启动Domino服务器，因为这个数据库是Domino数据库的核心数据库，Domino启动的时候，需要依靠这个数据提供参数；
2、             把服务器的notes.ini文档的ServerTask后面的所有服务临时删除，再启动测试，这是因为服务器启动的时候，需要启动router、http、amgr等一些服务进程，如果是某个服务有故障、有可能这些服务器会引起服务器的宕机。
3、             重新创建mail.box数据库，再启动domino服务器，因为这个数据库也是在服务器启动的时候，自动加载的。
4、             重新创建admin4.nsf数据库，因为这个数据库也是服务器启动的时候，自动加载的，是管理服务请求的一个关键数据库。

通过这些常规的处理方式之后，服务器在启动的时候还不能正常启动。
也就是不能进入到一个进程“event monitor started”不能启动log日志功能，这是domino启动的时候，第一个需要启动的服务。
产生的nsd如下：
##############################################################
prog: /opt/lotus/notes/65040/sunspa/server pid(s) : 681
======== Attaching to /opt/lotus/notes/65040/sunspa/server 681
###################################
###### thread 1/1 :: server, pid=681, lwp=1, tid=1 ######
###################################
[1]  ff29c718 nanosleep (ffa4f2c0, ffa4f2b8)
[2]  fda0f4b0 OSRunExternalScript (ffa4f84a, fed6433b, ffa4fc18, ffa4fbec, 800, 125c00) + 1dc
[3]  fda0da04 OSFaultCleanup (10000, 0, 0, 0, fd000000, 10000) + 21c
[4]  fd9e9d84 fatal_error (a, ffa502f8, 29c00, 29d40, fee8f824, 0) + 1a0
[5]  ff175bac __sighndlr (a, ffa502f8, ffa50040, fd9e9be4, 0, 0) + c
[6]  ff16f804 call_user_handler (a, ffa502f8, ffa50040, 0, 0, 0) + 234
[7]  ff16f9b4 sigacthandler (a, ffa502f8, ffa50040, ff2bc000, 81010100, ff0000) + 64
[8]  --- called from signal handler with signal 10 (SIGBUS) ---
[9]  ff29a13c readdir64_r (be13d6b7, ffa50440, ffa5043c, ff2982ec, 81010100, ff00) + 20
[10]  ff29a294 readdir_r (be13d6b7, ffa50b0c, ed, cfee, 29400, ee) + c
[11]  fda23b9c OSDirectoryScan (fda239d4, fef91a5c, fa2a0cb4, fa2a0ec6, fa2a10c8, fa2a0fc6) + 184
[12]  fe14a71c DbDirManRefreshDirectory (0, c001, ffbeea10, ffbee910, ffbee810, ffbee710) + a0
[13]  fe14a778 DbDirManRefreshDirectory (0, c001, ffbeea10, ffbee910, ffbee810, ffbee710) + fc

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/11279/showart_349132.html