一次简单的inod节点故障处理

paulcheung

有一台服务启发生故障，程序异常退出，重启以后也无法正常运行。由于程序本身的日志记录不是很详细，加上
这台机器前几天刚出过故障，我们直接把故障报给了系统集成商。集成商维护哥们的对程序也不是很熟悉，查
了一会也没查出问题，就建议我们重启。不过我觉得，如果是系统的问题，那系统日志肯定有相关记录，如果
不是系统问题，那重启也没用！于是就去检查了一下syslog，果然就发现了下面这条告警：
HTFS: Out of inodes on HTFS dev hd (1/43)
inod节点居然用完了，df -i看了一下，5千多万的inod节点居然用到100%，太BT了。
知道问题就好办了，删吧！find . -type f -mtime +45 -exec rm {} /; 老的文件统统干掉。
删掉一部分文件以后，inod的使用率已经降到98%，可以启程序了。不过一启还是报错，还好这次错误信息比较
明确，创建共享内存失败。用ipcs -bm看了一下，果然老的共享内存没有删掉，看来这块程序还不是很完善。
改配置文件，修改键值，把程序启起来以后再把老的共享内存删掉，一切OK。
先在来看这次障碍的处理，好像很简单，不过还是有一些东西值得注意。
首先是监控，只注意了空间的监控而忽略了inod的使用情况，这个需要改进。
然后就是系统日志了，虽然这台机器很稳定，应用也很单一，不过看来还是应该时时关注一下的。

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u1/44630/showart_360629.html