关于调试“后台服务子进程莫名其妙退出”，无Core，偶然性发生

kyle218

【环境】：AIX系统、C++程序
【现象】：启动了10个相同的后台服务子进程处理各种任务，偶尔某天一个子进程在处理某一类任务时莫名退出（但同时其他子进程处理这个任务正常），没有出现Core文件，缓存日志没有输出到磁盘，说明程序强制终止了；
这个现象不好重现，等专门进行该任务处理测试时却又不发生，却隔七八天半个月可能出现一两次；
也有规律，主要出现在处理某类特定服务的时候（所以不太可能是系统资源影响？？）；
【措施】：想到一些可能原因和采取了一些措施：
1）因为AIX内存使用紧张而自动kill进程，经过监控基本可以排除
2）代码错误，代码量比较大不好找，但是不明白是为什么其他子进程处理没有问题？？？
3）以前输出日志到文件有缓存区，所以不好定位何处终止程序了，现在采用实时输出日志到磁盘文件
4）怀疑是某个信号终止了程序（如一些信号的缺省动作是终止进程且不产生Core，如SIGALRM等），通过自定义用户处理程序捕捉打印所有信号来跟踪。。。

但是目前还没能重现该现象，不知道有没有效果；
【问题】：请指教大家，这类问题还存在什么可能原因？又该如何调试跟进？谢谢！

[ 本帖最后由 kyle218 于 2010-1-4 00:55 编辑 ]

kyle218

有什么建议和想法吗？thanks

ziggler

输出调试语句？

benjiam

同样的情况。  linux . 重构好以后， 运行1个月左右就会出现这样的情况。
也无core

kyle218

原帖由 ziggler 于 2010-1-4 21:54 发表
输出调试语句？

输出了，将文件buffer缓冲区设置为1个字节，相当实时了；
现在还没有重现，所以。。。。想问问各位还有其他什么想法
还是谢谢斑竹大人^_^

kyle218

原帖由 benjiam 于 2010-1-4 22:32 发表
同样的情况。  linux . 重构好以后， 运行1个月左右就会出现这样的情况。
也无core

好惨啊，找不到问题，你有什么思路没？这个不是办法，不能交差啊~~呵呵

chenzhanyiczy

是否有内存泄漏...

aix中 进程的堆是有限制的,256M，当然你可以扩张

zhyclt

这问题我遇到过，最后知道是 被操作系统干掉了~因为是 out of memery~~~所以建议你看看是不是内存泄露了~用valgrind检查一下~另外你看下系统日志，应该有提示的

[ 本帖最后由 zhyclt 于 2010-1-5 09:37 编辑 ]

lj56630325_cu

我也碰到过out of memery, 不一定是内存泄露, 可能内存碎片太多
1) out of memery, 你能在/var/log/syslog 中找到对应的log

2) 如果用了STL, 造成out of memery, 不一定是内存泄露,
   可以参考一下http://blog.163.com/dengminwen@1 ... 226720097189486788/

kyle218

原帖由 chenzhanyiczy 于 2010-1-4 23:56 发表
是否有内存泄漏...

aix中 进程的堆是有限制的,256M，当然你可以扩张

原帖由 zhyclt 于 2010-1-5 09:34 发表
这问题我遇到过，最后知道是 被操作系统干掉了~因为是 out of memery~~~所以建议你看看是不是内存泄露了~用valgrind检查一下~另外你看下系统日志，应该有提示的

回上面两位，程序里面没有用到任何new和malloc的内存申请函数，应该不会有内存泄露完毕的情况吧？？
这几天一直在高强度测试，都不能重现~~比较郁闷

系统限制
bash-9.0$ ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
file size               (blocks, -f) unlimited
max memory size         (kbytes, -m) unlimited
open files                      (-n) unlimited
pipe size            (512 bytes, -p) 64
stack size              (kbytes, -s) hard
cpu time               (seconds, -t) unlimited
max user processes              (-u) 2048
virtual memory          (kbytes, -v) unlimited