急救！关于批量执行ｓｈｅｌｌ

Roby83

现有几万个文件，需要用某shell来处理，如果用串行就太慢，全部提交上去并行就会太多而死机，请问有什么方法可以一次定量并行执行ｓｈｅｌｌ？例如一次处理个２０个。

where27

find + xargs -n 20

Roby83

#!/bin/bash
if [ $# -lt 1 ]; then
   echo "`basename $0` <zip file directory>"
   exit 1
fi

_Dir=$1

if [ !  -d $_Dir ]; then
   echo " Argument is not a directory"
   exit
fi

cd $_Dir
for i in `ls`
  do
     cd $_Dir/$i
for _f in ` find $_Dir/$i -name "Z_UP*" `
do   
_sf=`basename $_f`
     sh_hh $_sf &
  done
  done

我是用以上ｓｈｅｌｌ进行文件提交并用ｓｈ＿ｈｈ这个ｓｈｅｌｌ处理具体数据的。
您说的ｆｉｎｄ　＋ｘａｒｇｓ　－ｎ　２０，具体怎么用啊？

redspider

并行？ 你是多处理器还是多核？

Roby83

回复 4# redspider


  我没说清楚。  就是一次把文件都提交上去，在后台处理

whoiswhoz

开几W个进程 你哪里没有问题？
现在你那程序 就是全在后台 一次性都提交上去了

Roby83

回复 6# whoiswhoz


    那我要怎么修改啊

Roby83

帮我看看啊

where27

如果你只是要对$_Dir里的Z_UP开头的文件执行sh_hh的话

1. cd $_Dir
   
2. for i in `ls`
   
3.   do
   
4.      cd $_Dir/$i
   
5. for _f in ` find $_Dir/$i -name "Z_UP*" `
   
6. do   
   
7. _sf=`basename $_f`
   
8.      sh_hh $_sf &
   
9.   done
   
10.   done

复制代码

你把这个直接改成

1. find $_Dir -name "Z_UP*"|xargs -n 20 sh_hh {} &

复制代码

试试吧，可以先取出一部分文件做实验，不然太慢了

Roby83

回复 9# where27


    好像２０也挺慢的，得实验一下到底定多少合适