如何用awk或sed优化单据编号统计的脚本

schrosourcexuey

请教各位高手:
环境: RedHat6,用了4分30秒.
单据编号从00001到99999。经过多年，多科室的使用，出现了碎片化。脚本就是对此的统计。
输入文件是已经使用的单据编号：UsedFormNo.txt
00001
00002
00005
00010
00011
00013
....

输出文件：
nouse.txt:未使用的编号，
00003
00004
00006
00007
00008
00009
00012
....
nousedrange.csv:未使用编号的起止编号和张数，如果未使用单据编号连续
00003-00004,2
00006-00009,4
....
usedrange.csv:已使用编号的起止编号和张数，如果编号连续
00001-00002,2
00005-00005,1
00010-00011,2
....
脚本:
date
rm -f nouse.txt usedrange.csv nousedrange.csv
touch nouse.txt usedrange.csv nousedrange.csv
prevused="0"
count=0
counter=0
i=1
while read UsedNo
do
   usedno=`expr $UsedNo`
   currused=$usedno
   j=`expr $prevused + 1`
   if [ $usedno -eq $j ]; then
      count=`expr $count + 1`
   elif [ $usedno -gt $j ]; then
      beginused=`expr $j - $count`
      beginused=`expr $beginused - 1`
      prevused=`expr $j - 1`
      count=`expr $count + 1`
      echo $(printf "%05d" $beginused)"-"$(printf "%05d" $prevused)","$count>>usedrange.csv
      count=0
   fi
   while [ $i -lt $usedno ]
   do
      counter=`expr $counter + 1`
      echo $(printf "%05d" $i) >> nouse.txt
      i=`expr $i + 1`
      if [ $i -eq $usedno ]; then
         endnoused=`expr $usedno - 1`
         begnoused=`expr $usedno - $counter`
         echo $(printf "%05d" $begnoused)"-"$(printf "%05d" $endnoused)","$counter>>nousedrange.csv
         counter=0
      fi
   done
   while [ $i -eq $usedno ]
   do
      i=`expr $i + 1`
   done
   prevused=$usedno
done < UsedFormNo.txt
date

欧阳西风

回复 1# schrosourcexuey

现在正好在做awk的练习，就用awk来写一个吧(awk属于菜鸟级水平，请大家指正)

1. $ awk -f danju.awk danju.txt
   
2. $ cat danju.awk
   
3. {
   
4. ncount=$0-prev-1
   
5. if(ncount!=0){
   
6.   printf("%05d-%05d,%d\n",prev-ucount+1,prev,ucount) >>"use.csv"
   
7.   ucount=0
   
8.   for(i=ncount;i>=1;i--){
   
9.     printf("%05d\n",$0-i) >>"nouse.txt"
   
10.   }
    
11.   printf("%05d-%05d,%d\n",prev+1,$0-1,ncount) >>"nouse.csv"
    
12. }
    
13. prev=$0
    
14. ucount=ucount+1
    
15. }
    

复制代码

另外 我没有那么多的数据，所以执行效率不清楚如何，lz可以那你的数据测试一下，或者提供一段测试数据我们来测试一下效率。

klainogn

更大的菜鸟来了，代码肯定是不够简练，但应该比纯shell处理来的快点吧

1. BEGIN{
   
2.     total=20000
   
3. }
   
4. {
   
5.     for(;i++<total;){
   
6.         sept=","
   
7.         if(+$1==i){
   
8.             if(last_use+1==+$1) {u_cnt++;sept="-"}
   
9.             use=use?use sept $1"-"$1:$1"-"$1
   
10.             use=gensub(/([0-9]+-)[^,]*-([0-9]+)/,"\\1\\2", "g",use)
    
11.             if(use~/,/){
    
12.                 print substr(use,0,11)","u_cnt >"use.txt"
    
13.                 use=substr(use,13)
    
14.                 u_cnt=1
    
15.             }
    
16.             last_use=$1
    
17.             next
    
18.         }else{
    
19.             if(last_nouse+1==i) {n_cnt++;sept="-"}
    
20.             sn=sprintf("%05d",i)
    
21.             nouse=nouse?nouse sept sn"-"sn:sn"-"sn
    
22.             nouse=gensub(/([0-9]+-)[^,]*-([0-9]+)/,"\\1\\2", "g",nouse)
    
23.             if(nouse~","){
    
24.                 print substr(nouse,0,11),n_cnt >"nouse.txt"
    
25.                 nouse=substr(nouse,13)
    
26.                 n_cnt=1
    
27.             }
    
28.             last_nouse=sn
    
29.             continue
    
30.         }
    
31.     }
    
32. 
    
33. }
    
34. END{
    
35.     print use","u_cnt >"use.txt"
    
36.     print nouse","n_cnt >"nouse.txt"
    
37.                            
    
38.     if(++i<total){
    
39.         print sprintf("%05d",i)"-"total","total-i >"nouse.txt"
    
40.     }
    
41. }

复制代码

klainogn

屌爆了，可以直接升级成为大神， 这个ncount用的神了回复 2# 欧阳西风


   

欧阳西风

回复 4# klainogn


    过奖了 现在还是有待提高啊 awk平时用的不多 现在正在有意练习中...

另外 问一下不知道刚刚的脚本的运行效率如何？因为我没有进行效率测试

klainogn

效率我也没有测试过，不过肯定会比shell快吧， 你的代码计算一下最后使用的编号到最大编号的部分，那就完美了回复 5# 欧阳西风


   

欧阳西风

回复 6# klainogn


    恩 这个问题倒是好办。不过呢 你这一说 我又发现了我之前脚本的一点儿小问题，就是use.csv当中并没有打印最后的use数据，所以脚本还是需要改进的，一会儿我再看一下。

    不过呢，你可以通过临时的解决方法来解决我提到的问题和你的需求，那就是在源数据的末尾手动添加最大编号+1的值，即:

1. echo 100000 >> danju.txt

复制代码

欧阳西风

回复 6# klainogn


    刚刚又修改了一下，不过看起来代码就有点儿多了，我再去看看awk的自定义函数，学会了以后看看能不能搞个函数，里面有几个都是重复的东西

1. $cat danju.awk
   
2. BEGIN{
   
3. MAXNUMBER=99999
   
4. }
   
5. {
   
6. ncount=$0-prev-1
   
7. if(ncount!=0){
   
8.   printf("%05d-%05d,%d\n",prev-ucount+1,prev,ucount) >>"use.csv"
   
9.   ucount=0
   
10.   for(i=ncount;i>=1;i--){
    
11.     printf("%05d\n",$0-i) >>"nouse.txt"
    
12.   }
    
13.   printf("%05d-%05d,%d\n",prev+1,$0-1,ncount) >>"nouse.csv"
    
14. }
    
15. prev=$0
    
16. ucount=ucount+1
    
17. }
    
18. END{
    
19. if(ucount!=0){
    
20.   printf("%05d-%05d,%d\n",prev-ucount+1,prev,ucount) >>"use.csv"
    
21. }
    
22. if(prev<MAXNUMBER){
    
23.   ncount=MAXNUMBER-prev
    
24.   for(i=ncount;i>=1;i--){
    
25.     printf("%05d\n",MAXNUMBER+1-i) >>"nouse.txt"
    
26.   }
    
27.   printf("%05d-%05d,%d\n",prev+1,MAXNUMBER,ncount) >>"nouse.csv"
    
28. }
    
29. }

复制代码

expert1

哥最爱此类问题，awk解决的标配啊。可惜心情不好，不想写。

欧阳西风

回复 9# expert1


    心情不好才更应该写啊 写一写代码心情就好起来啦哈哈