shell 的 while 后台并发 的一个深坑，求高手指点

0602114042

我想用while 循环执行一些重复任务，并且为了高效利用cpu，利用后台实现并发，

例如：

#!/bin/bash
#set -x

function zip_data()
{
while true
do
{
        echo         "do something"                               
}&
done
}

zip_data

但是实际测试发现这个循环越跑越慢，我也大概知道shell的while是新开一个子shell运行的，
所以我怀疑是while循环太快，导致后台子shell太多引起卡顿




所以我又改了一下，增加一个管道描述符控制并发量，如下所示，我理解实时运行的时候应该只有一个while在后台运行
但是实际上测试发现，跟上面现象一样，刚开始运行很快，越运行越慢，

求高手指点一下，多谢！！！


#!/bin/bash
#set -x

# 中断时kill子进程
function trap_exit
{
exec 1000>&-;exec 1000<&-
kill -9 0
}

trap 'trap_exit; exit 2' 1 2 3 15 9

mkfifo testfifo ; exec 1000<>testfifo ; rm -rf testfifo

function zip_data()
{
echo >&1000

while true
read -u 1000
do
{

        echo         "do something"       
        echo >&1000               
       
}&
done
}

zip_data
wait

0602114042

有没有人，顶一下

ll104567

shell中使用多线程感觉效率上提高不大、前排占座

0602114042

回复 3# ll104567


是这样，while循环中我会创建一个zip 压缩实例进行压缩
实际使用中会根据cpu核数创建多个压缩实例并行压缩文件，缩短压缩时间

上面是目的，就先不多说了，
问题是为啥while循环跑着跑着就跑慢了，这个现象还挺容易复现 的

我怀疑是不是有子进程未退出导致僵尸进程或者别的原因，但是都没发现线索

真是奇怪啊

   

0602114042

今天仔细对比测试，一个data_zip_new.sh  是刚重启的脚本，一个data_zip_error是运行时间大概一个小时的脚本
明显发现运行久了virt，res 数据区会增大

这我就想不明白了，while后台调用很多进程后，这些也会运行完释放的，为啥res等还会持续增加？有什么没释放的吗？




Tasks: 752 total,   6 running, 746 sleeping,   0 stopped,   0 zombie
Cpu(s): 22.2%us,  9.8%sy,  0.0%ni, 68.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st, 67.3%id_exact,  0.3%hi_exact,  0.4%irq_exact
Mem:  264463636k total, 24349160k used, 240114476k free,   361180k buffers
Swap: 25165816k total,        0k used, 25165816k free,  3197596k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+   PPID RUSER     UID GROUP    TTY       P SWAP   TIME CODE DATA nFLT nDRT WCHAN     Flags    COMMAND                       
17102 root      20   0  115m  12m 1032 R 100.0  0.0   2:05.51 14812 root        0 root     pts/3    13    0   2:05  848  11m    0    0 -         ..4.2... data_zip_new.sh               
17952 root      20   0  159m  57m 1112 R 99.7  0.0 102:22.86  1080 root        0 root     pts/6     8    0 102:22  848  56m    0    0 -         ..4.21.. data_zip_error.               

zhzhs

没控制并发数吧