外企笔试题请教

syttk

apache日志文件 /log 里的日志格式如下
115.31.12.33 [24/Mar/2009:14:38:16+0800] "GET/search?q=xeon HTTP/1.1" 200 10623
116.18.84.12 [24/Mar/2009:14:41:25+0800] "GET/search?q=NERO8 HTTP/1.1" 200 20799

1. 统计一天内的总搜索量？
2. 统计一天内不同样的查询词，并显示被查询的次数最多的是哪个词？
3. 一天内访问IP数(不同样)最多的某一分钟是哪一分钟?

求助高手解答 呵呵

请求都加点注解

thanks

[ 本帖最后由 syttk 于 2009-5-15 15:53 编辑 ]

yy_galois

这个题目有练习价值。可以搜入 grep/sed/awk 教材。

1. 统计一天内的总搜索量？
grep "GET/search?q" apache.txt | wc -l

2. 统计一天内不同样的查询词，并显示被查询的次数最多的是哪个词？
grep "GET/search?q" apache.txt  | gawk -F= '{print $2}' | gawk '{print $1}'  > searchword.txt
sort searchword.txt  | uniq -c | sort | tail -1 | gawk '{print $2}'

3. 一天内访问IP数(不同样)最多的某一分钟是哪一分钟?

有点复杂。

[ 本帖最后由 yy_galois 于 2009-5-15 15:50 编辑 ]

moartel

1.
错了 cat logs|awk '{($2~"24\\/Mar\\/2009" && $3~"GET\\/search\\?q=")}; END{print NR}'


awk '{$0~"25/Mar" && $0~"GET/search"} END {print $0}' 3|wc -l

[ 本帖最后由 moartel 于 2009-5-20 11:21 编辑 ]

ywlscpl

1. 
   
2. 1  awk '{v=substr($2,2,11)}/GET\/search/{a[v]++}END{for (i in a) print i,a[i]}' file|sort
   
3. 
   
4. 2.1  awk '{v=substr($2,2,11);split($3,M,"q=")}a[v]!~M[2]{a[v]=a[v]" "M[2]}END{for (i in a) print i""a[i]}' file|sort
   
5. 
   
6. 2.2   awk '{v=substr($2,2,11);split($3,M,"q=");a[v" "M[2]]++}END{for (i in a) print i,a[i]}' file|sort -k1,1 -k3,3nr |awk '!a[$1]++'
   
7. 
   
8. 3  awk '{v1=substr($2,2,11);v2=substr($2,14,5);if (!(v1" "v2" "$1 in a)) b[v1" "v2]++;a[v1" "v2" "$1]=1}END{for (i in b) print i,b[i]}' file|sort -k1,1 -k3,3nr |awk '!a[$1]++'

复制代码

HH106

1    awk -F'[:[]' '/search/{a[$2]++}END{for(j in a)print j,a[j]}' txt
2    grep 'search?' txt|awk -F'[:[ =]' '{a[$8]++}END{for(j in a)print a[j],j}'|sort|tail -1 |cut -d' ' -f2
3  有些难,研究下

kwokcn

1. 
   
2. 1 统计一天内的总搜索量？
   
3. awk -F"[:[]" '{a[$2]++}END{for(i in a) print i"\t"a[i]}' LOGFILE
   
4. 
   
5. 2.1 统计一天内不同样的查询词
   
6. awk -F"[= :[]" '{a[$3"\t"$8]++}END{for(i in a) print i"\t"a[i]}' LOGFILE
   
7. 
   
8. 2.2 显示被查询的次数最多的是哪个词
   
9. awk -F"[= :[]" '{a[$3"\t"$8]++}END{for(i in a) print i"\t"a[i]}' LOGFILE | sort -k1,1 -k3,3nr | uniq -w 11
   
10. 
    
11. 3 一天内访问IP数(不同样)最多的某一分钟是哪一分钟
    
12. awk -F"[= :[]" '{s=$1"\t"$3"\t"$4":"$5;if(!b[s]){a[$3"\t"$4":"$5]++;b[s]++}}END{for(i in a) print i"\t"a[i]}' LOGFILE | sort -k1,1 -k3,3nr | uniq -w 11
    

复制代码

[ 本帖最后由 kwokcn 于 2009-5-15 15:46 编辑 ]

kwokcn

呃，最后处理用uniq不如用awk了。：）

ywlscpl

第2.1题我搞复杂了

moartel

2.  
awk -F[" ""="] '/search/ {++S[$4]} END {for(a in S) print a, S[a]}' /log

kwokcn

第三题莫名其妙的对b做了个处理……小小修改一下……