如何快速从500多个列中找出需要的10几个列？

hosyp

我有个文件有个文件有五百列不定，要从中找出需要的10几个列，做了两个嵌套的循环，
如果相等就计下当前的列号，这样是可以找出来但太慢了，要一分多钟才能得出结果，
谁有更好的办法？
         anum=1
               aset=""
               aline=`nawk 'NR==1' $afile`
               acols=`echo $aline|nawk -F, '{print NF}'`
               acolcnt=`awk '{print $1}' $COLFILE|wc -l`
               for acolneed in `awk '{print $1}' $COLFILE`
               do
                  acol=1
                  while [ $acol -le $acols ]
                  do
                     acol2=`echo $aline|nawk -F, '{print $num}' num=$acol`
                     if [ "$acolneed" = "$acol2" ]
                     then
                        #echo $acol2";"$acolneed";"$acol
                        aset=$aset"$"$acol
                        break
                     fi
                     let acol=acol+1
                  done
                  let anum=anum+1
                  #echo $anum"--"$acolcnt
                  if [ $anum -le $acolcnt ]
                  then
                     aset=$aset"\",\""
                  fi               
               done
如："AA","BB","CC","DD",....，要得到"AA","DD",...，aset就是得到的列数
COLFILE的格式如下：
"AA"
"DD"
"EE"
...

709101040516

稍微再给点提示好不。。。你具体是要找什么。举个列子好伐

hosyp

如文件头是"AA","BB","CC","DD","EE","FF","GG","HH","II","JJ","KK","LL","MM","NN"
            或 "AA","BB","CC","EE","FF","GG","HH","JJ","KK","LL","MM","NN","OO","PP"
            或 "AA","BB","CC","DD","GG","HH","JJ","KK","LL","MM","OO","PP","RR","SS"

要找出"AA","DD","II","NN"各列的数据，
对第一个数据都有，$1,$4,$9,$14,
对第二个数据是    $1,   ,    ,$12,
对第三个数据是    $1,$4,   ,      ,

ywlscpl

1. awk -F, 'NR==FNR{a[$1]}NR>FNR{for (i=1;i<=NF;i++) if ($i in a) printf "$"i",";print ""}' COLFILE  file

复制代码

beginner-bj

1. 
   
2. awk -F, '{
   
3. for(i=1;i<=NF;i++){
   
4.         if($i=="\"AA\"")A=i
   
5.         if($i=="\"DD\"")D=i
   
6.         if($i=="\"II\"")I=i
   
7.         if($i=="\"NN\"")N=i
   
8.         }
   
9. printf "$"A",$"D",$"I",$"N"\n"
   
10. A="";D="";I="";N=""
    
11. }' FILE
    
12. 
    
13. 
    
14. 17:16:30 root@ST-TEST:[/]#echo '"AA","BB","CC","DD","EE","FF","GG","HH","II","JJ","KK","LL","MM","NN"' |awk -F, '{
    
15. > for(i=1;i<=NF;i++){
    
16. >       if($i=="\"AA\"")A=i
    
17. >       if($i=="\"DD\"")D=i
    
18. >       if($i=="\"II\"")I=i
    
19. >       if($i=="\"NN\"")N=i
    
20. >       }
    
21. > printf "$"A",$"D",$"I",$"N"\n"
    
22. > A="";D="";I="";N=""
    
23. > }'
    
24. $1,$4,$9,$14
    
25. 17:17:25 root@ST-TEST:[/]#

复制代码

beginner-bj

有点小毛病，改了

1. echo '"AA","BB","CC","EE","FF","GG","HH","JJ","KK","LL","MM","NN","OO","PP"' |awk -F, '{
   
2. for(i=1;i<=NF;i++){
   
3.         if($i=="\"AA\"")A="$"i
   
4.         if($i=="\"DD\"")D="$"i
   
5.         if($i=="\"II\"")I="$"i
   
6.         if($i=="\"NN\"")N="$"i
   
7.         }
   
8. printf A","D","I","N",\n"
   
9. A="";D="";I="";N=""
   
10. }'

复制代码

hosyp

回复 4# ywlscpl


    太谢谢啦!
今天修改试了一天，这个方法好，快多了，处理速度从十多分钟加快到几十秒!