在脚本中执行后台命令时，需要执行wait命令，否则会内存泄露？(确认需要wait)

humjb_1983

又来请教各位大师
在bash脚本中执行后台命令(加&)时，需要执行wait命令回收后台子进程的资源，否则会内存泄露？是这样的么？
不知这种情况下wait是否是标准用法？是否一定需要？
谢谢！
---------
问题解决，在这里贴一下，请大家以后注意使用wait吧，共勉。。。。
这个问题经过深入分析，已有基本结论：
在脚本中，调用后台执行的命令，确实应该wait，不wait的话，确有有内存泄露的情况，不信可以自己写个死循环调用后台命令的脚本，很容易复现的。
可以google搜一下脚本多任务，可以看到别人写的类似的脚本中，有很多都是用了wait的。

通过内存泄露检测，和bash相关代码和原理分析，问题产生的原因简单如下：
1、实际的内存泄露并不是被调用的后台进程自身产生的，泄露之处在于bash，bash调用后台命令，后台命令执行结束后，自身占用的资源(包括内存)应该是成功回收的(bash中应该考虑了SIGCHLD信号的处理)，但问题关键在于：bash自己会为每一个后台子进程创建一个数据结构，用于保存后台进程的返回值，否则bash中就无法了解后台子进程的退出状态了，这在一些情况下，确实是需要了解的。所以，泄露的内存就在这个数据结构上，如果不用wait，那么每个后台子进程对应的数据结构就无法回收。
2、理论上，泄露的数据结构应该很小，不会产生大的影响，但是另一个关键在于glibc的堆实现，如果死循环中不断的创建后台子进程，那就不断的会有相应的数据结构分配，而其占用的内存很可能顶在了堆顶，我们知道，如果堆顶的内存不能回收，那么堆顶之下的内存也是不能回收的，所以由于该数据结构的泄露，可能导致更大的内存泄露。经过分析故障当时bash进程的堆分布情况，确实可以确认这一点。

综上，这个问题由于bash和glibc和脚本用法共同导致。
所以，各位，如果后面要在bash中调用后台命令，建议都wait一下吧。。。。

Shell_HAT

求出处

humjb_1983

Shell_HAT 发表于 2014-07-17 19:54
求出处

呵呵，最近遇到一个奇特的问题，在脚本中反复调用后台命令（后台命令执行后会退出），发现一段时间后，内存占用明显增加，有内存泄露的痕迹。
经过前期使用内存泄露检测工具的分析，发现确有这样的迹象，搜了一下，好像有后台命令需要使用wait命令回收的说法，特来求证。。。

谢谢！

expert1

man wait，跟memor leak无关啊

fxpbupt

楼主是想表达僵尸进程么

humjb_1983

回复 4# expert1
呵呵，手册中是没有提到~，但实际上好像确实有问题，写个简单的测试用例，多跑会能复现。。。。

   

humjb_1983

fxpbupt 发表于 2014-07-17 23:00
楼主是想表达僵尸进程么

不是僵尸，这种情况下bash应该是处理了SIGCHLD信号的，不用wait也不会有僵尸。
说的是内存泄露的问题。

seesea2517

没听过这样的说法，会不会你运行的脚本调用的一些程序存在内存泄露？
或者说，你用同样的脚本，加了 wait 就不会内存泄露了？

humjb_1983

seesea2517 发表于 2014-07-18 10:24
没听过这样的说法，会不会你运行的脚本调用的一些程序存在内存泄露？
或者说，你用同样的脚本，加了 wait  ...

对的加了wait，就没有内存泄露了。。。

seesea2517

回复 9# humjb_1983


    这真是奇怪的现象。关注楼主进展……