怎么把文件分割后处理？

huang6894

我想问一下，有一个大文本，我想把它split每150行一个文件，然后递交给一个shell处理，可是我想每次一下处理4个文件保证我的速度和内存。
现在我是把文件分割之后写了一个shell让它读取他们，然后在命令的后面提交到后台处理，可是这样的话，我的内存就超支了，能不能想个方法每四个四个的处理？

q1208c

用四个进程来处理文件, 每个进程处理 1/4 的文件就行了.

Shell_HAT

大文件是多大？
内存是多大？

huang6894

回复 2# q1208c


    求指教

huang6894

回复 3# Shell_HAT


    额，这个不是重点啦~文件是提交给一个shell处理的，数量太多会超出内存需要，所以我想一次性只处理四个小的

Shell_HAT

回复 5# huang6894


    把你写的代码贴出来看看

Herowinter

无代码，无真相。

huang6894

@Shell_HAT@Herowinter

1. 
   
2. split -l 150 test jing
   
3. for i in `ls jinga*`
   
4. do
   
5. nohup sh position.sh $i ndir  >test.log 2>&1&
   
6. done
   

复制代码

Shell_HAT

回复 8# huang6894

1. split -l 150 test jing
   
2. for i in `ls jinga*`; do
   
3.     nohup sh position.sh $i ndir >test1.log 2>&1 &
   
4.     nohup sh position.sh $i ndir >test2.log 2>&1 &
   
5.     nohup sh position.sh $i ndir >test3.log 2>&1 &
   
6.     nohup sh position.sh $i ndir >test4.log 2>&1 &
   
7.     sleep 60
   
8. done

复制代码

huang6894

@Shell_HAT原来还可以这样啊~谢谢你