如何用awk实现以下需求？

net17sharplau

小弟今天遇到个问题，煞是疑惑，有文本如下：

      192.168.1.2      http://www.baidu.com/xxxx1
      192.168.1.2      http://www.baidu.com/x
      192.168.1.2      http://www.baidu.com/xxx2
      192.168.1.3      http://www.163.com/xxxx1
      192.168.1.3      http://www.baidu.com/oooo1
      192.168.1.7      http://www.baidu.com/xxxx1/yes
      192.168.1.7      http://www.baidu.com/xx/no1
      192.168.1.11    http://www.google.cn/xx/no1asdd
      192.168.1.12    http://www.google.cn/xx/no1asdd
      
这样的内容还有很多，再次就不一一列举了！

这样的一个文本，要求统计出独立的内网IP数量，每个ip都访问了那些网站，并且要统计出独立的内网ip的总数。我想大致效果应该如下：

     3    192.168.1.2      http://www.baidu.com/xxxx1
                                    http://www.baidu.com/x
                                    http://www.baidu.com/xxx2
     2    192.168.1.3      http://www.163.com/xxxx1
                                    http://www.baidu.com/oooo1
     3    192.168.1.7      http://www.baidu.com/xxxx1/yes
                                    http://www.baidu.com/xx/no1
                                    http://www.baidu.com/xx/no1
     1    192.168.1.11    http://www.google.cn/xx/no1asdd
     1    192.168.1.12    http://www.google.cn/xx/no1asdd

    Total ip : 5

请问这个用awk能实现吗？
谢谢各位朋友！

iori809

[root@commserver: /tmp]#awk '{array[$1]=$2"\n              "array[$1];array1[$1]++;if(!($1 in array2)){array2[$1];n++}}END{for(i in array){print array1" "i" "array};print "Total IP:"n}' test70.txt  
2 192.168.1.7 http://www.baidu.com/xx/no1
              http://www.baidu.com/xxxx1/yes
              
1 192.168.1.11 http://www.google.cn/xx/no1asdd
              
1 192.168.1.12 http://www.google.cn/xx/no1asdd
              
3 192.168.1.2 http://www.baidu.com/xxx2
              http://www.baidu.com/x
              http://www.baidu.com/xxxx1
              
2 192.168.1.3 http://www.baidu.com/oooo1
              http://www.163.com/xxxx1
              
Total IP:5

顺序不好控制了，因为AWK循环有自己的模式

lkk2003rty

1. awk '{if($1 in arr) arr[$1]=$2"\n\t"arr[$1]; else arr[$1]=$2}END{for(cnt in arr){print split(arr[cnt],tmp,"\n\t"),cnt,arr[cnt]};print "Total IP",length(arr)}' file

复制代码

这样格式能好点

net17sharplau

感谢楼上 两位高人的指点！  确实 我也感觉这个要控制起来 那是相当费劲！
   所以我还是转投shell 把他给写出来了！

Shell_HAT

回复 4# net17sharplau


把你写的贴出来看看？

palmshadow

回复 3# lkk2003rty


    看不懂，能不能简单介绍一下。

net17sharplau

楼上这位高人，你这个是怎么输出来的呢？
   我这边尝试的时候  直接提示错误了：
   awk: (FILENAME=./b FNR=9) fatal: attempt to use array `a' in a scalar context

Shell_HAT

回复 9# net17sharplau


8楼的代码是这样的：

1. 
   
2. awk '{a[$1]++;b[$1,a[$1]]=$2} END{for (i in a) {ip++;for (j=1;j<=a[i];j++) if(j==1) {print a[i]"\t"i"\t"b[i,j]}else{print "\t\t\t"b[i,j]}}print "Total IP:"ip}' b
   

复制代码

net17sharplau

谢谢楼上这位仁兄！  我把这个地方看掉了！
  if(j==1) {print a"\t"i"\t"b[i,j]}else{print "\t\t\t"b[i,j]}}print "Total IP:"ip}'

  原来awk可以用二维数组！ 学到一个高招啊！

  感谢各位！ 谢谢朋友们！

  另：有没有好一点的讲awk进阶技巧的书或教程之类的资料，若有还恳请发给小弟一份。小弟万分感激！

  小弟邮箱：net17sharplau@163.com