请教一个多线程处理的问题

redir

小弟用shell写了个多进程的东东，有点问题想请教下各位大侠

A文件，里面大量数据
现在想写个shell脚本读取A文件处理后放入数据库，想法是先算出A文件的总行数，然后分成多个行数，利用多进程叠加行数读取文件然后去处理导入数据库，利用网上的脚本修改之后发现时间反而延长了。求大侠指点怎样写比较高效，谢谢。

personball

回复 1# redir


    一般来讲，所有涉及IO的多进程，其瓶颈大多会在IO上
如果你使多个进程再读取同一个文件，可能又会遇到文件资源竞争的问题

没啥具体经验唉，随便讲两句，等高人出现吧
不过，对于计算行数之类的步骤，我建议直接把文件分割，用split命令之类的。。

redir

谢谢。计算行数我算出总行数，然后除以10，来做了，感觉这样还方便点？

personball

回复 3# redir


    NAME
       split - split a file into pieces

SYNOPSIS
       split [OPTION]... [INPUT [PREFIX]]

DESCRIPTION
       Output  fixed-size  pieces of INPUT to PREFIXaa, PREFIXab, ...; default
       size is 1000 lines, and default PREFIX is `x'.  With no INPUT, or  when
       INPUT is -, read standard input.

redir

用了下，感觉不错，继续求高人指点

redir

继续求教，比如文件夹内已经将文件A切分成为a、b、c、d、e、f、g几个文件，如何多线程去同时处理这些文件呢？比如一个线程处理a、b、c，另外一个线程处理e、f、g，求大侠指点！

rdcwayx

是这个意思？

1. script 1
   
2. for file in a b c d e
   
3. do
   
4.    # your commands
   
5. done

复制代码

1. script 2
   
2. for file in f g h i
   
3. do
   
4.    # your commands
   
5. done

复制代码

redir

感谢rdcwayx大大，但是文件夹内不止a、b、c、d、e、f、g这些文件的，日志文件非常大，切割之后有几百个。

rdcwayx

假设，你用split 分割好文件，100行一个文件，用数字后缀.

1. split -l 100 -d  fileA

复制代码

这样的话，你就会得到很多小文件， fileA000, fileA001, .... fileA999, 如果分割文件超过1000个的话，后面的数字可能是4位。

将下面的代码存成一个文件，比如 redir.sh

1. min=$1
   
2. max=$2
   
3. for file in `eval echo fileA{$min..$max}`
   
4. do
   
5.   echo $file
   
6.   # put your SQL command here.
   
7. done

复制代码

连续开几个console, 运行如下命令；

1. ./redir.sh 000 099
   
2. ./redir.sh 100 199
   
3. .....

复制代码

redir

感谢rdcwayx大大，问题已解决