是什么让跑在IBM 3650服务器上的RHEL4 U4 宕机？

green_apple

原帖由 liaosnet 于 2008-7-27 13:05 发表
我在想，为什么会down掉？~？？原因？？难道ibm3650跟rhel4u4不兼容？~？

我这里有6台ibm 3650服务器，其中4台装的都是 RHEL4 U4 的系统， 不过跑的是其它的应用， 但只有跑我这个应用的3650服务器会宕机， 其它3台没有发生过。 倒是另外有台3650 装的windows 2003 系统，应用在上面跑了2天就出现过宕机情况，同样2003 的系统装在方正园明的服务器上应用跑了半个月也没有出现过宕机，现在把这台3650 装成windows 2000 server 在跑应用，还没有出现宕机的情况，不过也跑了3天， 后续还有待观察。
     
   纵观这些情况， 我觉得要么是我的应用或者运行的那个shell 脚本有问题， 要么就是这台 IBM 3650 服务器硬硬件本身的问题。 已经准备今晚把应用切到备机上去跑， 这台备机也是装有RHEL4 U4 的3650服务器， 看是否还会发生宕机的情况

liaosnet

哦咧~~~难道说这个ibm 3650服务器不行咋滴？~~

green_apple

原帖由 cuci 于 2008-7-27 12:24 发表
想想重启前有什么规律的东西，几百m的log不算大

     四次宕机发生时，我有三次在场，并且都是我当时操作日志文件， 第一次是我在运行 analyse*.sh这个脚本在分析当天的实时交易日志； 第二次就是25日， 我当时用vim 打开当天的实时交易日志， 像这样查看实时交易生产日志每天都会去操作的，这个操作也能让系统宕机？第三次就是上午， 我在运行anlyse*.sh 分析昨天的交易日志，之前那次宕机让我禁止这个脚本分析当天的实时交易日志，只能分析之前的日志，即便这样系统还是宕掉了

green_apple

原帖由 walkerxk 于 2008-7-27 12:28 发表
是什么让跑在IBM 3650服务器上的RHEL4 U4 宕机？
答案是管理员
“那个日志比较大，将近100M，”呃，一般用G作为单位的才算比较大的吧。
僵尸 ...

其他的日志cron、mail、message、rpmpkgs、spooler、xferlog 都没有什么异常， 每次宕机时message 里没有异常信息都没有，真是郁闷哦。 倒boot.log中这里有点奇怪， 日志记录如下：
Jul 26 01:03:03 lwebs fsck: /: clean, 130933/3842720 files, 785649/7679070 blocks
Jul 26 01:03:03 lwebs rc.sysinit: Checking root filesystem succeeded
Jul 26 01:03:03 lwebs rc.sysinit: Remounting root filesystem in read-write mode:  succeeded
Jul 26 01:03:03 lwebs lvm.static:   No volume groups found
Jul 26 01:03:03 lwebs rc.sysinit: Setting up Logical Volume Management: succeeded
Jul 26 01:03:03 lwebs fsck: /boot: clean, 39/102800 files, 29375/409601 blocks
Jul 26 01:03:03 lwebs fsck: /home1: clean, 1347/6832128 files, 1586879/13645201 blocks
Jul 26 01:03:03 lwebs fsck: /logback: clean, 11/5128192 files, 181426/10239429 blocks
Jul 26 01:03:03 lwebs fsck: /var: clean, 2630/1026144 files, 64327/2048279 blocks

这次重新启动之前，我是正常关机的，怎么也会出现上述的操作呢？ 在这次系统正常重启前是发生过宕机的，但RHEL启动时已经检查修复过文件系统的。 另外在系统发生第一次宕机前， 机房发生过断电事故， 所有的机器全部掉电关机，难道一次非正常的掉电停机会引发后续的宕机？

green_apple

原帖由 liaosnet 于 2008-7-27 13:12 发表
还是推荐用着原来的rhel3吧~~用着稳定的系统比较好~~

后面实在没招了，可能还是换回原来的RHEL 3试试， 不过当时想想与时俱进，跟上redhat 的发展潮流，外在在ibm 3650 没有软驱， 装RHEL3 需用用软盘来加载8k 卡的驱动，麻烦，所以装RHEL 4 了

walkerxk

原帖由 green_apple 于 2008-7-27 13:33 发表


     四次宕机发生时，我有三次在场，并且都是我当时操作日志文件， 第一次是我在运行 analyse*.sh这个脚本在分析当天的实时交易日志； 第二次就是25日， 我当时用vim 打开当天的实时交易日志， 像这样查看 ...

不一定是你的操作导致当机，所以要记录系统的详细信息来分析到底出了什么事情，我也是记录了几个月的记录才稍微找到点头绪的。

原帖由 green_apple 于 2008-7-27 14:14 发表



其他的日志cron、mail、message、rpmpkgs、spooler、xferlog 都没有什么异常， 每次宕机时message 里没有异常信息都没有，真是郁闷哦。 倒boot.log中这里有点奇怪， 日志记录如下：
Jul 26 01:03:03 lwe ...

这个好像每次开机都会检查的吧？

green_apple

原帖由 walkerxk 于 2008-7-27 14:19 发表

不一定是你的操作导致当机，所以要记录系统的详细信息来分析到底出了什么事情，我也是记录了几个月的记录才稍微找到点头绪的。



这个好像每次开机都会检查的吧？

哎。 我是乙方， 这是替甲方作的系统哦， 恐怕没那么长的时间来折腾。

fsck 检查， 我查看其它几台服务器启动时没有， 这台服务器在没有掉电之前，正常启动也没有这种检查的。

jerrywjl

首先IBM3650这个服务器并没有通过RHEL4U4的认证。只有RHEL4U5以上的认证通过记录，这就意味着实际上Red Hat并没有认为你的硬件和软件是完全没有兼容性问题。
https://hardware.redhat.com/list ... mp;quicksearch=3650

像这种情况，即便你买了Red Hat的服务，人家也不会对产生的问题负任何责任。因为这是你当时在部署的时候的自己的失误。不过这种问题在国内用户身上很常见，你不看看现在在RH9和Fedora上跑生产的大把人在。

第二造成死机的原因现在都不好肯定，搞不好确实和你的那个脚本有关系，不过系统意外重启光看日志也不一定有头绪。所以要从多方面分析原因。你可以在你的系统上跑一个命令sysreport，然后将收到的bz2的压缩包贴论坛上来。

我要到那时候心情好可以帮你看看，不过我不保证能够看出东西啊！哈哈！

liaosnet

原帖由 jerrywjl 于 2008-7-27 16:15 发表
首先IBM3650这个服务器并没有通过RHEL4U4的认证。只有RHEL4U5以上的认证通过记录，这就意味着实际上Red Hat并没有认为你的硬件和软件是完全没有兼容性问题。
https://hardware.redhat.com/list.cgi?product=Re ...

哦咧~~这样啊~~呵~~

walkerxk

Fedora上跑生产？
我该说什么？艺高人胆大？还是他觉得在服务器上开XGL会帅一点？