经典pv统计问题的脚本求教，也许早有了，请教！

opiopuiopoi

原始日志格式文本如下：
#cat a.lst

10.10.1.1        http://www.hao.com/1.html
10.10.1.2        http://www.hao.com/2.html
10.10.1.3        http://www.hao.com/3.html
10.10.1.4        http://www.hao.com/4.html
10.10.1.2        http://www.hao.com/1.html
10.10.1.1        http://www.hao.com/1.html
10.10.1.1        http://www.hao.com/2.html
10.10.1.2        http://www.hao.com/3.html
10.10.1.1        http://www.hao.com/1.html
10.10.1.3        http://www.hao.com/2.html

求教一shell脚本或perl脚本处理后生成如下报表：

url                                        独立ip                  pv
--------------------------------------------------------------------
http://www.hao.com/1.html        2                4
http://www.hao.com/2.html        3                3
http://www.hao.com/3.html        2                2
http://www.hao.com/4.html        1                1


总结：即通过url计算每个url的独立ip数和pv数，并可按pv数或者独立ip数量进行排序。

lkk2003rty

1. awk '{if($2 in a){split(a[$2],c," "); c[2]++;if(!match(b[$2],$1)) {c[1]++;b[$2]=b[$2]" "$1;} a[$2]=c[1]" "c[2];} else {a[$2]="1 1";b[$2]=$1}} END{for(i in a)print i,a[i]}' file

复制代码

kwokcn

1. 
   
2. awk '{a[$2]++;if(!b[$2"_"$1]){b[$2"_"$1]=1;n[$2]++}}END{for(i in a) print i,n[i],a[i]}' URFILE | sort -k3n
   
3. 
   
4. # 前面两行在前面直接输出就行了
   
5. # 排序用sort处理即可，按独立IP数是-k2n，按pv值是-k3n，如果倒序排就加个r
   

复制代码

Shell_HAT

1. 
   
2. awk '!($0 in a){a[$0];a[$2]++}{b[$2]++}END{for(i in b)print i,a[i],b[i]}' urfile | sort
   

复制代码

yx07004212

1. 
   
2. awk '{if(!a[$1,$2]++)b[$2]++;c[$2]++}END{for(i in b)print i,b[i],c[i]}' urfile |sort
   

复制代码

opiopuiopoi

非常感谢楼上各位老大。{:3_200:}

iori809

回复 4# Shell_HAT


    写的真好~同样一个需求，用最简洁的代码实现。这个思路我觉得应该是相对而言非常简洁了~佩服

howge

回复 2# lkk2003rty
翻译下：
awk '{if($2 in a){split(a[$2],c," "); c[2]++;if(!match(b[$2],$1)) {c[1]++;b[$2]=b[$2]" "$1;} a[$2]=c[1]" "c[2];} else {a[$2]="1 1";b[$2]=$1}} END{for(i in a)print i,a}' file

1.先定义个数组a[$2]=“1 1”“1  1”分别代表独立ip个数 和pv值       b[$2]=$1
2.如果网址在数组a里面，将数a[$2]切分分成数组c  c[2]++ 递增，如果这行的ip不重复，c[1]++递增 b[$2] 变成b[url]=url+ip然后a[$2]重新赋值
3.最后遍历

expert1

留个记号看先学习了哦

expert1

回复 4# Shell_HAT


    !($0 in a)

什么意思呢？