Chinaunix

标题: 脚本运行效率太差 [打印本页]

作者: elaine2017 时间: 2018-01-30 09:53
标题: 脚本运行效率太差
代码如下：
#! /bin/bash
for line in `cat BC.csv`
do
declare -i na_num
declare -i not_na_num
na_num=$(echo $line|awk -F "," '{for(i=1;i<=NF;++i) if($i=="NA") ++num}END{print num}')
sum=$(echo $line|awk -F "," '{for(i=4;i<=NF;i+=2) if($i!="NA") sum+=$i}END{print sum}')
not_na_num=$(echo $line|awk -F',' '{for(i=4;i<=NF;i+=2) if($i!="NA") ++sum_1}END{print sum_1}')
avg=`echo "$sum/$not_na_num"|bc`
if [ $na_num -le 6 ] && [ `echo "$avg <= 5"|bc` -eq 1 ];then
echo $line >> BC_filter.csv
fi
done
数据大小也就100多兆，但是跑了好几天都还没跑完，后来投上去的其它脚本都跑完了，这个还没跑到一半，用ps aux查看了一下：

如图，CPU占用才13.9，而且经常处于S而非R状态，运行效率真的很慢！请问有人知道这到底是哪个步骤出了问题吗？

作者: yinyuemi 时间: 2018-01-30 10:45
用awk重写吧

作者: jason680 时间: 2018-01-30 15:02
回复 1# elaine2017

"效率太差"(坐公交车太慢)...
你应说明要作什么(目的地在那)...

公交车太慢，可坐其他的，但要知道目的地在那...

1. input data
2. procedure
3. output data

作者: 本友会机友会摄友会 时间: 2018-01-30 16:29
提示: 作者被禁止或删除内容自动屏蔽

作者: elaine2017 时间: 2018-01-30 16:30
回复 2# yinyuemi

我换了种语言写，快多了

作者: elaine2017 时间: 2018-01-30 16:32
回复 4# 本友会机友会摄友会

powershell我还没怎么研究过诶，我写的这个确实不行，太慢了，换了python试了一下，很快就跑完了

作者: 本友会机友会摄友会 时间: 2018-01-30 16:53
提示: 作者被禁止或删除内容自动屏蔽

作者: wh7211 时间: 2018-02-03 16:30
回复 1# elaine2017

1次循环能解决的问题，不要使用多次循环。题主提供的代码处理1行数据就用了多次循环，所以效率差，这和语言本身无关，你可以重写优化一下。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)