awk相关问题

jason680

回复 8# wlyqiqi

问题本不难，你又不举例，
描述又乱写，让人费疑猜？
   

wlyqiqi

回复 10# Herowinter

未命名文件夹.zip (45.26 KB, 下载次数: 3)

2014-04-22 13:43 上传

点击文件名下载附件
123

召回率=A/(A+C)  召回率：检索到的相关文档 比 库中所有的相关文档
准确率=A/(A+B)  准确率：检索到的相关文档 比 所有被检索到的文档
A：检索到的，相关的 （搜到的也想要的）
B：检索到的，但是不相关的 （搜到的但没用的）
C：未检索到的，但却是相关的 （没搜到，然而实际上想要的）
D：未检索到的，也不相关的 （没搜到也没用的）

training.qrels是相关文件，TF_IDF_0.res是搜索得到的文件





   

wlyqiqi

回复 10# Herowinter

我把附件上传了

   

Herowinter

回复 12# wlyqiqi
可不可以这样理解，搜索得到的文件TF_IDF_0.res(file1)和 相关training.qrels(file2)，
以$1 $3作为key
A 表示file1中key存在file2中的记录数
B 表示file1中key不存在file2中的记录数
C 表示file2中key不存在file1中的记录数
D 我真心连猜都不会了


   

wlyqiqi

回复 14# Herowinter

对，是这样理解的。计算中不用考虑D。
召回率和准确率计算时不是计算整体文件，而是考虑同一$1。（001的召回率，002的召回率。。。）（001的准确率，002的准确率。。。）

最后是一个表列出57个query的准确率召回率
   

Herowinter

回复 15# wlyqiqi
这是我写的，不知到为什么召回率大都是1，也许我哪里算错了？
按我的理解来看，training.qrels文件中的key在 TF_IDF_0.res文件中大都存在，
所以C大多数时候为0，然后按你的公式，A/A+C 召回率就是1了。

1.   awk 'NR==FNR{a[$1" "$3];next} {b[$1" "$3]} END{for(i in b){split(i,key," ");k=key[1];if(i in a){A[k]++}else B[k]++};for(i in a)if(!(i in b))C[k]++;print "key\t准确率\t召回率";l=asorti(A,AA);for(i=1;i<=l;i++){k=AA[i];print k"\t"A[k]/(A[k]+B[k])"\t"A[k]/(A[k]+C[k])}}' training.qrels TF_IDF_0.res
   
2. key        准确率        召回率
   
3. 001        0.04        1
   
4. 002        0.08        1
   
5. 003        0.02        1
   
6. 004        0.02        1
   
7. 005        0.06        1
   
8. 006        0.02        1
   
9. 007        0.06        1
   
10. 008        0.08        1
    
11. 009        0.14        1
    
12. 010        0.14        1
    
13. 011        0.1        1
    
14. 012        0.22        1
    
15. 013        0.14        1
    
16. 014        0.04        1
    
17. 015        0.1        1
    
18. 016        0.18        1
    
19. 017        0.08        1
    
20. 018        0.04        1
    
21. 019        0.08        1
    
22. 020        0.14        1
    
23. 021        0.12        1
    
24. 022        0.04        1
    
25. 023        0.02        1
    
26. 024        0.06        1
    
27. 025        0.1        1
    
28. 026        0.06        1
    
29. 027        0.12        1
    
30. 028        0.06        1
    
31. 030        0.02        1
    
32. 031        0.24        1
    
33. 032        0.02        1
    
34. 033        0.02        1
    
35. 034        0.02        1
    
36. 035        0.04        1
    
37. 036        0.1        1
    
38. 037        0.1        1
    
39. 038        0.02        1
    
40. 039        0.16        1
    
41. 040        0.1        1
    
42. 041        0.02        1
    
43. 042        0.34        1
    
44. 043        0.04        1
    
45. 044        0.04        1
    
46. 045        0.18        1
    
47. 046        0.06        0.09375
    
48. 047        0.1        1
    
49. 049        0.1        1
    
50. 050        0.12        1
    
51. 051        0.22        1
    
52. 052        0.06        1
    
53. 053        0.06        1
    
54. 054        0.1        1
    
55. 055        0.12        1
    
56. 056        0.06        1
    
57. 057        0.02        1

复制代码

Herowinter

回复 16# Herowinter
召回率我应该算错了，我再改改，等下有事做，
也许要比较晚。

Herowinter

回复 15# wlyqiqi
用这个吧。

1. awk 'NR==FNR{a[$1" "$3];next} {b[$1" "$3]} END{for(i in b){split(i,key," ");k=key[1];if(i in a){A[k]++}else B[k]++};for(i in a){split(i,key," ");k=key[1];if(!(i in b))C[k]++};print "key\t准确率\t召回率";l=asorti(A,AA);for(i=1;i<=l;i++){k=AA[i];print k"\t"A[k]/(A[k]+B[k])"\t"A[k]/(A[k]+C[k])}}' training.qrels TF_IDF_0.res
   
2. key        准确率        召回率
   
3. 001        0.04        1
   
4. 002        0.08        1
   
5. 003        0.02        1
   
6. 004        0.02        0.0588235
   
7. 005        0.06        1
   
8. 006        0.02        1
   
9. 007        0.06        1
   
10. 008        0.08        1
    
11. 009        0.14        1
    
12. 010        0.14        1
    
13. 011        0.1        1
    
14. 012        0.22        1
    
15. 013        0.14        1
    
16. 014        0.04        1
    
17. 015        0.1        1
    
18. 016        0.18        1
    
19. 017        0.08        1
    
20. 018        0.04        1
    
21. 019        0.08        1
    
22. 020        0.14        1
    
23. 021        0.12        1
    
24. 022        0.04        1
    
25. 023        0.02        1
    
26. 024        0.06        1
    
27. 025        0.1        1
    
28. 026        0.06        0.75
    
29. 027        0.12        1
    
30. 028        0.06        0.5
    
31. 030        0.02        1
    
32. 031        0.24        1
    
33. 032        0.02        0.5
    
34. 033        0.02        1
    
35. 034        0.02        1
    
36. 035        0.04        1
    
37. 036        0.1        0.833333
    
38. 037        0.1        1
    
39. 038        0.02        1
    
40. 039        0.16        1
    
41. 040        0.1        1
    
42. 041        0.02        1
    
43. 042        0.34        1
    
44. 043        0.04        1
    
45. 044        0.04        1
    
46. 045        0.18        1
    
47. 046        0.06        1
    
48. 047        0.1        1
    
49. 049        0.1        1
    
50. 050        0.12        1
    
51. 051        0.22        1
    
52. 052        0.06        1
    
53. 053        0.06        1
    
54. 054        0.1        1
    
55. 055        0.12        1
    
56. 056        0.06        1
    
57. 057        0.02        1

复制代码

wlyqiqi

回复 18# Herowinter

好，我自己运行一下试试看，太感谢了~！！！

wlyqiqi

回复 16# Herowinter


为何会出现calling undefined function asorti 。。。