AWK分组统计遇到的难题，求大神帮忙看看

2248388401

文本文件列信息：
url  访问IP  访问时间  访问人
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.23|2015-11-20 20:34:48|guest
c.com.cn|202.109.134.24|2015-11-20 20:34:48|guest
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
a.com.cn|202.109.134.24|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.25|2015-11-20 20:34:48|guest

需求：统计每个URL的独立访问IP有多少个(去重)，并且要为每个URL保存一个对应的文件
得到的结果类似：
a.com.cn  2
b.com.cn  2
c.com.cn  1
并且有三个对应的文件，
a.com.cn.txt
b.com.cn.txt
c.com.cn.txt

目前实现方法：
awk -F '|' '{a[$1"#"$2]++;}END{for(i in a){split(i,tmparr,"#");b[tmparr[1]]++;c[tmparr[1]]=c[tmparr[1]]"\r\n"tmparr[2]};for(i in b){print c[i]>>i".txt";print i" "b[i]}}' 1.txt


遇到的问题：
当数据量大时，速度非常慢，300W条记录，要跑20多分钟，仔细排查了下，发现c[tmparr[1]]=c[tmparr[1]]"\r\n"tmparr[2] 这句非常耗时，如果把tmparr[2]改成用户名那列或者是一个常量字符串，比如"teststr"，则速度就会比较快。

可能的原因：
IP这一列的值非常多，内存消耗较大，或者awk本身字符串链接速度较慢？但观察下来机器的内存并没有消耗多少，CPU也没有消耗多少。


求各位大神帮忙看看，谢谢

2248388401

被这个问题困扰几天了，求大神帮忙解惑

sync_1521

1. awk -F"|" '!a[$1,$2]++{b[$1]++;c[$1]=c[$1]?$2"\n"c[$1]:$2}END{for(i in b){print i,b[i];print c[i]>i".txt"}}'

复制代码

haooooaaa

1. awk -F '|' '{a[$1][$2]}END{for(i in a)print i,length(a[i])>i".txt"}' file

复制代码

没太明白， 文本内容是？

2248388401

回复 4# haooooaaa


   
文本文件列信息：
url  访问IP  访问时间  访问人
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.23|2015-11-20 20:34:48|guest
c.com.cn|202.109.134.24|2015-11-20 20:34:48|guest
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
a.com.cn|202.109.134.24|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.25|2015-11-20 20:34:48|guest

文本内容是这样的

haooooaaa

回复 5# 2248388401


改了一下，这样应该可以了，

1. awk -F '|' 'b[$1]!~$2{b[$1]=b[$1]?b[$1]"\n"$2:$2}END{for(i in b)print b[i]"\n"i,split(b[i],t,"\n")>i".txt"}' file

复制代码

sync_1521

1. awk -F"|" '!a[$1,$2]++{b[$1]++;print $2>>$1".txt"}END{for(i in b){print i,b[i]}}'

复制代码

这样应该更好点。。

substr函数

这样

1. #!/usr/bin/python2
   
2. # coding: utf-8
   
3. 
   
4. FH = open('data')
   
5. LIST = {}
   
6. 
   
7. for line in FH:
   
8.     com, ip, _ = line.split('|', 2)
   
9.     LIST.setdefault(com, {})
   
10.     LIST[com].setdefault(ip, 1)
    
11. 
    
12. for k, v in LIST.items():
    
13.     W = open(k, 'w')
    
14.     W.write(str(len(v)))
    

复制代码

2248388401

回复 7# sync_1521


大神，你第一版提供的代码效率跟我的基本一样   
效率有一定提升，但这样会不会在分组多的时候，IO很高？

2248388401

回复 6# haooooaaa


   执行起来跟我原来的效率一样，都是比较慢。有字符串拼接操作的，都会很慢，这是什么原因呢，机器CPU和内存是足够的