大量数据的解析与比较处理

q1208c

楼主的问题可以分成两部分, 第一部分, 是先拿到得分. 也就是先要知道每个学生的得分是多少.
第二个部分, 是判断是不是合格的学生. 也就是看得分跟标准分的比较结果.

如果数据量真的很大的话, 我建议分成两部分来完成, 先生成一个中间文件, 就是只有得分的文件.
第二部分再来判断是不是合格, 这样只要读中间的得分文件就可以了.

第一部分应该不是太复杂. 就是个数字提取.
第二部分其实更简单, 只要先把标准拿到手, 然后去读 得分就好.

rdcwayx

说不过去 发表于 2014-02-13 13:26
回复 6# rdcwayx

这个 RS="vobs" file  什么意思，怎么会报错

RS 就是定义 vobs为换行符， 这样可以处理跨行操作, 当然前提是你的所有记录都是在/vobs下的。

如果有报错，请贴出错误信息。如果是在Solaris下运行， 将awk 命令替换成 /usr/xpg4/bin/awk

说不过去

回复 10# Herowinter


    对的就是这个意思  但是领导希望我写的比较详细些 而且输出的格式要标准些  我上面列出来的 不对其

说不过去

回复 11# q1208c


    分析我也会的啊 关键是解析的代码不会写

q1208c

回复 14# 说不过去

那你得多贴些原始数据. 你现在的数据量太少了, 就算能写出来, 也处理不了异常的情况. 比如你的数字前面后面的字符是不是都一样? 或者你的数字是不是都在相同的位置. 这对提取工作非常重要.


   

说不过去

回复 15# q1208c


    谢谢啊

Herowinter

回复 16# 说不过去
凑合着看吧，可能代码可读性不是太好。
i case 结果文件 standard 标准文件

1. awk 'NR==FNR{if($0~/TEST RESULT/){file=gensub(".*/vobs/rru/rsl/([^/]*).*","\\1",1)}else if($0~/passed/){total[file]=$2;}else if($0~/Run/){total[file]=$3;failed[file]=$6}else if($0~/Coverage/){cov[file]=$(NF-1)};next} {if(FNR==1){print"module\tTotal\tPassed\tCov.\tTotal\tPassed\tCov";next} if($1 in total){s1=+$NF;if($1 in failed){s2=gensub(/.*<=([0-9]+).*/,"\\1",1);if((total[$1]-failed[$1]<=s2)||(cov[$1]<s1))$0=$0"\t"total[$1]"\t"failed[$1]"\t"cov[$1]"\tfailed"}else if(cov[$1]<s1){$0=$0"\t"total[$1]"\t"cov[$1]"\tfailed"}}print}' i standard

复制代码

说不过去

回复 17# Herowinter


    万分感谢你写了那么长  那个标准文件 跟 case文件 我想在命令行执行的时候 入参  的话    ./jiaoben.sh  i   standard     你最后那边怎么改
   还有我想把结果重定向到一个result文件中

Herowinter

回复 18# 说不过去
jiaoben.sh这样写

1. #!/bin/bash
   
2. 
   
3. function caseResult(){
   
4. awk '
   
5.     NR==FNR{if($0~/TEST RESULT/){file=gensub(".*/vobs/rru/rsl/([^/]*).*","\\1",1)}
   
6.     else if($0~/passed/){total[file]=$2;}else if($0~/Run/){total[file]=$3;failed[file]=$6}else if($0~/Coverage/){cov[file]=$(NF-1)};next}
   
7.     {if(FNR==1){print"module\tTotal\tPassed\tCov.\tTotal\tPassed\tCov";next}
   
8.     if($1 in total){s1=+$NF;if($1 in failed){s2=gensub(/.*<=([0-9]+).*/,"\\1",1);if((total[$1]-failed[$1]<=s2)||(cov[$1]<s1))$0=$0"\t"total[$1]"\t"failed[$1]"\t"cov[$1]"\tfailed"}
   
9.     else if(cov[$1]<s1){$0=$0"\t"total[$1]"\t"cov[$1]"\tfailed"}}print}' $1 $2 > result
   
10. }
    
11. 
    
12. caseResult $1 $2

复制代码

说不过去

回复 19# Herowinter

我把全部的代码给你看看



    Array_moudle=(tacl tampcontrol tantennatests tcfr tcpmgr tdigitalsensors teeprom tfcpc\
                tgfh thfm  tpathdelay tpsuisr trpgc ttxattn ttempsense ttcs tcpri tdelaymgr\
                tedpd teh tfcpcs tfpgc tled tralaisg treportmgr tttlna ttxcntl tvswr\
                tiqec tcam tfastrtwp tdivmon trfhead tscheduler)

   function caseResult(){
   awk '
    NR==FNR{if($0~/TEST RESULT/){file=gensub(".*/vobs/rru/rsl/([^/]*).*","\\1",1)}
   else if($0~/passed/){total[file]=$2;}else if($0~/Run/){total[file]=$3;failed[file]=$6}else if($0~/Coverage/){cov[file]=$(NF-1)};next}
    {if(FNR==1){print"module\tTotal\tPassed\tCov.\tTotal\tPassed\tCov";next}
    if($1 in total){s1=+$NF;if($1 in failed){s2=gensub(/.*<=([0-9]+).*/,"\\1",1);if((total[$1]-failed[$1]<=s2)||(cov[$1]<s1))$0=$0"\t"total[$1]"\t"failed[$1]"\t"cov[$1]"\tfailed"}
    else if(cov[$1]<s1){$0=$0"\t"total[$1]"\t"cov[$1]"\tfailed"}}print}' $Line $2 > result
    }

for((i=0;i<${#Array_moudle[@]};i++))
do
   Line=`grep -A 5 "${Array_moudle[$i]}:TEST RESULT" $1 `
   caseResult $Line  $2

done

这个命令Line=`grep -A 5 "${Array_moudle[$i]}:TEST RESULT" $1 `会解析出
-------------------------------------------------------
    |  /vobs/rru/rsl/acl/tacl:TEST RESULT        
    |-------------------------------------------------------
    |   3 cases passed
    |-------------------------------------------------------
    |   555:  =========== gcov_run : Coverage of acl = 57.45%  ===========
    -------------------------------------------------------
这样的数据 一共有34组  所以我用数组来遍历  
然后我运行  ./jiaoben.sh  i  standard  会报错 如下
awk: cmd. line:6: fatal: cannot open file `|' for reading (No such file or directory)
awk: cmd. line:6: fatal: cannot open file `|' for reading (No such file or directory)