关于SHELL处理文件效率的问题。。

stewartsun

目标：对总分文件作总分检查
实现：C和SHELL
结果：C程序用时大概1分钟，SHELL用时3个小时。

文件有4万行，

1. 
   
2. cat $file|while read i
   
3. do
   
4. .......
   
5. done
   

复制代码

各位老大，有没有其它读文件效率更高的方法啊？

bjgirl

那你还是用你的C去吧~~

stewartsun

呵呵，没有别的办法吗？

C不是我写的，俺也不太喜欢用，于是自己写了SHELL。。

可是效率实在是太低，有点郁闷。。

r2007

把代码拿出来，让大伙给它优化优化。
            

stewartsun

原帖由 "r2007" 发表：
把代码拿出来，让大伙给它优化优化。
            

1. 
   
2. 
   
3. # Shell Start
   
4. 
   
5. Cal_Total(){
   
6. 
   
7.         Total_1=0
   
8. 
   
9.         tmp=`cat $1.$2.$3|cut -b201-214`.`cat $1.$2.$3|cut -b215-216`
   
10.         Total_1=`echo $tmp|bc -l`
    
11. 
    
12. }
    
13. 
    
14. Cal_Parcel(){
    
15. 
    
16.         Total_2=0
    
17.         Count=0
    
18. 
    
19. 
    
20.         cat $1.$2.$3|while read i   
    
21.         do
    
22.                 Amount=0
    
23.                 Fee=0
    
24. 
    
25.                 Flag=`echo $i|cut -b24-25`
    
26.                 if [ $Flag = 30 ];then
    
27.                         continue
    
28.                 fi
    
29. 
    
30.                 Bank_Flag=`echo $i|cut -b98-106`
    
31.                 Amount=`echo $i|cut -b30-39`.`echo $i|cut -b40-41`
    
32.                 Fee=`echo $i|cut -b67-72`.`echo $i|cut -b73-74`               
    
33. 
    
34.                 case $Flag in
    
35.                         00|01|10|11|22 )
    
36.                                 Amount=`echo $Amount*-1|bc`
    
37.                                 Fee=`echo $Fee*-1|bc`
    
38.                                 ;;
    
39.                 esac
    
40. 
    
41.                 if [ $Bank_Flag != $2 ];then
    
42.                         Amount=`echo $Amount*-1|bc`
    
43.                         Fee=`echo $Fee*-1|bc`
    
44.                 fi
    
45.                        
    
46.                 Total_2=`echo $Total_2+$Amount+$Fee|bc -l`
    
47. 
    
48.                 Count=`expr $Count + 1`
    
49.                 Count_flag=`expr $Count % 1000`
    
50.                 if [ $Count_flag = 0 ];then
    
51.                         echo "        Finish $Count count Total_2=$Total_2"
    
52.                 fi
    
53. 
    
54.         done
    
55. 
    
56. }
    
57. 
    
58. Result(){
    
59. 
    
60.         Minus=0
    
61. 
    
62.         Minus=`echo \($1\)-\($2\)|bc -l`
    
63.         if [ $Minus = 0 ];then
    
64.                 echo "        二者相差：$Minus ，结果PASS~~ \n" >> result
    
65.         else
    
66.                 echo "        二者相差：$Minus ，结果UNPASS~~ \n" >> result
    
67.         fi
    
68. 
    
69. }
    
70. 
    
71. #main()
    
72. 
    
73. if [ $# -lt 2 ];then
    
74. 
    
75.         echo "USAGE:`basename $0` BankCode Date "
    
76.         exit -1;
    
77. 
    
78. fi
    
79. 
    
80. IFS=;
    
81. 
    
82. echo $2 >> result
    
83. 
    
84. for Type in Q G S
    
85. do
    
86.         echo "         Checking $Type Type file ...."
    
87.         Cal_Total         "$Type"1 $1 $2
    
88.         Cal_Parcel        "$Type"2 $1 $2
    
89.         echo    "        $Type"1中金额总数为：$Total_1|tee -a result
    
90.         echo         "        $Type"2中金额总数为：$Total_2|tee -a result
    
91.         Result $Total_1 $Total_2
    
92.         echo "        Finished Checking $Type Type file!"
    
93. done
    
94. 
    
95. Cal_Total G5 $1 $2
    
96. Cal_Parcel G6 $1 $2
    
97. echo "        G5中金额总数为：$Total_1"|tee -a result
    
98. echo "        G6中金额总数为：$Total_2"|tee -a result
    
99. Result $Total_1 $Total_2
    
100. 
     
101. echo "        Finished Checking ALL Type file!"
     
102. 
     
103. 
     
104. # Shell End
     

复制代码

網中人

無可置疑的是：先天上，直譯式語言的效能絕對比不過傳統語言。
若真的用在很大量數據上，shell 不是一個好的方案，就算優化處理，那只是後天調教而已...

若真要調整，下面這些可以參考參考：
1) 盡量用 built-in 而不要用外部命令
2) 盡可能少的調用 file I/O
3) 多用 function
4) 其它待各位補充...  ^_^

bjgirl

5)该说的都让网兄说啦~~
shell是解释型语言,不算真正的编程语言,而C,ASM之类的是编译型的语言,当然编译语言的速度要远远快于shell,perl之类的"脚本"语言啦~~

admirer

还是说说你的具体要求：什么样的数据格式，要求什么样的输出，举例说明。

stewartsun

这倒是，面对对象的不同，各有优缺点。。


网兄所言第二点是何意呢？

網中人

file I/O 是指 script 所處理的數據是從 file 讀進或存進 file 。
例如：
在一些臨時或週期性的數值處理上，
若將之存存進 file 再供後面讀取，不如將之存進變量(或組數)，再來調用。
諸如此類的....  ^_^

簡而言之，file I/O 對 script 效能殺傷極大，能免則免。