for循环效率怎样提升

yiguihuo

楼主需求很简单，一个10亿行的文本文件，每行格式都一样。目的是要把每一行内容处理一下格式在加工一下重定向到一个新文件。

for i in `cat $1`
  do
     k1=`echo $i|awk -F ":" '{print $1}'`
     k2=`echo $i|awk -F ":" '{print $2}'`
     echo $k1@@$k2 >> $1.txt
done
先写一个简单的测试看看速度怎样，结果1秒才处理几百条，即使把文件分割了，多跑几个程序这速度也没法接受呀，想看看慢在哪里。

for i in `cat $1`
  do
     echo @ >> $1.txt
done
想想是不是每次都写入文件造成的速度问题呢，先去掉变量赋值，直接打印个字符看看速度怎样，结果速度1秒5w。

for i in `cat $1`
  do
     k1=$i
     echo $k1 >> 1.txt
done
现不处理变量，赋值并打印出来，结果1秒3w

for i in `cat $1`
  do
     k1=`echo $ip`
     echo $k1 >> 1.txt
done
这里我只是换了一个变量赋值的方法，并且还没有做awk的出来，结果速度就下降到了1秒2000条，很不理解这里是因为``调用了新的shell执行命令造成的吗。现在还没想到awk用什么别的方法处理变量。大家有时间的看看，有什么好的方法解决。

jason680

回复 1# yiguihuo

try below or tell us what you want ...

$ cat FILE
a:b
c:d

$ bash aa.sh FILE

$ cat FILE.txt
a@@b
c@@d

$ cat aa.sh
awk -F: '{print $1"@@"$2}' $1 >> $1.txt

chengchow

sed -r 's/:/@@/g' file

wh7211

回复 1# yiguihuo


采用awk这种行处理工具才能提高效率，参考2楼答案。

yiguihuo

谢谢两位的解答，为什么要用for循环，主要是想后期处理在添加内容方便些。处理的文件用处是向elasticsearch导入。
a:b
c:d
处理后的内容是下面这样
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"a","k_2":"b"}
{"index":{"_index":"kt","_type":"list"}}
{"k_1":"c","k_2":"d"}

yiguihuo

谢谢上面几位兄弟的提醒，awk还是很强大的
awk -F ":" '{print "{\"index\":{\"_index\":\"kt\",\"_type\":\"list\"}}""\n""{\"k_1\":\""  $1"\",\"k_2\":\""$2"\"}"}'  kt-00

blackold

这样写不慢都不行。

chengchow

闲着无聊做了下测试，1000W行，目测sed效率要高1倍

1. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt
   
2. 
   
3. real        0m11.645s
   
4. user        0m9.281s
   
5. sys        0m0.558s
   
6. [root@AnsibleTower_120 tmp]# time awk -F: '{print $1"@@"$2}' 1.txt > 2.txt
   
7. 
   
8. real        0m12.431s
   
9. user        0m9.326s
   
10. sys        0m0.372s
    
11. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt
    
12. 
    
13. real        0m5.580s
    
14. user        0m5.025s
    
15. sys        0m0.331s
    
16. [root@AnsibleTower_120 tmp]# time sed -r 's/:/@@/g' 1.txt > 2.txt
    
17. 
    
18. real        0m6.859s
    
19. user        0m4.910s
    
20. sys        0m0.385s
    

复制代码