脚本运行效率太差

elaine2017

代码如下：
#! /bin/bash
for line in `cat BC.csv`
do
   declare -i na_num
   declare -i not_na_num
   na_num=$(echo $line|awk -F "," '{for(i=1;i<=NF;++i) if($i=="NA") ++num}END{print num}')
   sum=$(echo $line|awk -F "," '{for(i=4;i<=NF;i+=2) if($i!="NA") sum+=$i}END{print sum}')
   not_na_num=$(echo $line|awk -F',' '{for(i=4;i<=NF;i+=2) if($i!="NA") ++sum_1}END{print sum_1}')
   avg=`echo "$sum/$not_na_num"|bc`
   if [ $na_num -le 6 ] && [ `echo "$avg <= 5"|bc` -eq 1 ];then
        echo $line >> BC_filter.csv
   fi
done
数据大小也就100多兆，但是跑了好几天都还没跑完，后来投上去的其它脚本都跑完了，这个还没跑到一半，用ps aux查看了一下：

如图，CPU占用才13.9，而且经常处于S而非R状态，运行效率真的很慢！请问有人知道这到底是哪个步骤出了问题吗？

yinyuemi

用awk重写吧

jason680

回复 1# elaine2017


"效率太差"(坐公交车太慢)...
你应说明要作什么(目的地在那)...

公交车太慢，可坐其他的，但要知道目的地在那...


1. input data
2. procedure
3. output data

elaine2017

回复 2# yinyuemi

我换了种语言写，快多了

elaine2017

回复 4# 本友会机友会摄友会

powershell我还没怎么研究过诶，我写的这个确实不行，太慢了，换了python试了一下，很快就跑完了

wh7211

回复 1# elaine2017


1次循环能解决的问题，不要使用多次循环。题主提供的代码处理1行数据就用了多次循环，所以效率差，这和语言本身无关，你可以重写优化一下。