Chinaunix

标题: AWK分组统计遇到的难题，求大神帮忙看看 [打印本页]
作者: 2248388401    时间: 2015-11-23 18:32
标题: AWK分组统计遇到的难题，求大神帮忙看看
文本文件列信息：
url  访问IP  访问时间  访问人
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.23|2015-11-20 20:34:48|guest
c.com.cn|202.109.134.24|2015-11-20 20:34:48|guest
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
a.com.cn|202.109.134.24|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.25|2015-11-20 20:34:48|guest

需求：统计每个URL的独立访问IP有多少个(去重)，并且要为每个URL保存一个对应的文件
得到的结果类似：
a.com.cn  2
b.com.cn  2
c.com.cn  1
并且有三个对应的文件，
a.com.cn.txt
b.com.cn.txt
c.com.cn.txt

目前实现方法：
awk -F '|' '{a[$1"#"$2]++;}END{for(i in a){split(i,tmparr,"#");b[tmparr[1]]++;c[tmparr[1]]=c[tmparr[1]]"\r\n"tmparr[2]};for(i in b){print c[i]>>i".txt";print i" "b[i]}}' 1.txt


遇到的问题：
当数据量大时，速度非常慢，300W条记录，要跑20多分钟，仔细排查了下，发现c[tmparr[1]]=c[tmparr[1]]"\r\n"tmparr[2] 这句非常耗时，如果把tmparr[2]改成用户名那列或者是一个常量字符串，比如"teststr"，则速度就会比较快。

可能的原因：
IP这一列的值非常多，内存消耗较大，或者awk本身字符串链接速度较慢？但观察下来机器的内存并没有消耗多少，CPU也没有消耗多少。


求各位大神帮忙看看，谢谢
作者: 2248388401    时间: 2015-11-23 18:55
被这个问题困扰几天了，求大神帮忙解惑
作者: sync_1521    时间: 2015-11-23 19:24
本帖最后由 sync_1521 于 2015-11-23 19:29 编辑
  1. awk -F"|" '!a[$1,$2]++{b[$1]++;c[$1]=c[$1]?$2"\n"c[$1]:$2}END{for(i in b){print i,b[i];print c[i]>i".txt"}}'
复制代码
作者: haooooaaa    时间: 2015-11-23 19:27
  1. awk -F '|' '{a[$1][$2]}END{for(i in a)print i,length(a[i])>i".txt"}' file
复制代码
没太明白， 文本内容是？
作者: 2248388401    时间: 2015-11-23 19:36
回复 4# haooooaaa


   
文本文件列信息：
url  访问IP  访问时间  访问人
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.23|2015-11-20 20:34:48|guest
c.com.cn|202.109.134.24|2015-11-20 20:34:48|guest
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
a.com.cn|202.109.134.24|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.25|2015-11-20 20:34:48|guest

文本内容是这样的
作者: haooooaaa    时间: 2015-11-23 19:41
本帖最后由 haooooaaa 于 2015-11-23 20:08 编辑

回复 5# 2248388401


改了一下，这样应该可以了，
  1. awk -F '|' 'b[$1]!~$2{b[$1]=b[$1]?b[$1]"\n"$2:$2}END{for(i in b)print b[i]"\n"i,split(b[i],t,"\n")>i".txt"}' file
复制代码
作者: sync_1521    时间: 2015-11-23 19:59
  1. awk -F"|" '!a[$1,$2]++{b[$1]++;print $2>>$1".txt"}END{for(i in b){print i,b[i]}}'
复制代码
这样应该更好点。。
作者: substr函数    时间: 2015-11-23 20:03
这样
  1. #!/usr/bin/python2
  2. # coding: utf-8

  4. FH = open('data')
  5. LIST = {}

  7. for line in FH:
  8.     com, ip, _ = line.split('|', 2)
  9.     LIST.setdefault(com, {})
  10.     LIST[com].setdefault(ip, 1)

  12. for k, v in LIST.items():
  13.     W = open(k, 'w')
  14.     W.write(str(len(v)))
复制代码
作者: 2248388401    时间: 2015-11-23 20:34
回复 7# sync_1521


大神，你第一版提供的代码效率跟我的基本一样   
效率有一定提升，但这样会不会在分组多的时候，IO很高？
作者: 2248388401    时间: 2015-11-23 20:35
回复 6# haooooaaa


   执行起来跟我原来的效率一样，都是比较慢。有字符串拼接操作的，都会很慢，这是什么原因呢，机器CPU和内存是足够的
作者: 2248388401    时间: 2015-11-23 20:36
substr函数 发表于 2015-11-23 20:03
这样


python还没有环境试，等我有环境了试试哈
作者: jason680    时间: 2015-11-23 20:44
回复 1# 2248388401

$ awk -F'|' '{if(!k[$1,$2]++){a[$1]++;print $2>$1".txt"}}END{for(n in a)print n,a[n]}' FILE
a.com.cn 2
c.com.cn 1
b.com.cn 2

$ grep . *.com.cn.txt
a.com.cn.txt:202.109.134.23
a.com.cn.txt:202.109.134.24
b.com.cn.txt:202.109.134.23
b.com.cn.txt:202.109.134.25
c.com.cn.txt:202.109.134.24

   
作者: lgfang    时间: 2015-11-24 10:37
回复 1# 2248388401

你说CPU不高，你是看的总cpu使用率还是单核的cpu使用率。现在服务器上都是好多核，所以一核100%但总使用率可能只有10%。 rhel，在top命令下按数字1能看到具体各核的使用率。

另外iowait高么？
作者: 2248388401    时间: 2015-11-24 16:41
lgfang 发表于 2015-11-24 10:37
回复 1# 2248388401

你说CPU不高，你是看的总cpu使用率还是单核的cpu使用率。现在服务器上都是好多核， ...


确实是平均CPU使用率不高，但单核CPU基本上95%以上这种，但iowait不高，这个如何优化呢
作者: lgfang    时间: 2015-11-25 09:07
本帖最后由 lgfang 于 2015-11-25 09:12 编辑

回复 14# 2248388401


    这么看来瓶颈还是cpu，必须设法把任务分成多线程/进程放到不同的核上去。比如说把记录拆成几份同时分别处理，然后再汇总。


另外，gnu有个看起来很酷的工具  parallel 可能可以派上用场（但我从来没用过）。 http://www.rankfocus.com/use-cpu-cores-linux-commands/
作者: waxwork3    时间: 2015-11-26 13:06
既然是CPU太高，那就分散CPU压力，在记录生成时就加入两个MD5字段，取MD5定长16进制转为十进制存储，后期只比较数值，效率会上几个数量级。
作者: bh3531    时间: 2015-11-27 00:27
本帖最后由 bh3531 于 2015-11-27 09:29 编辑

awk -F "|" '{a[$1]++;b[$2" "$1]}END{for(i in a)print i,a;for(i in b){split(i,c," ");print c[1],c[2]}}' b

a.com.cn 7
wer.com.cn 1
w.com.cn 3
c.com.cn 2
b.com.cn 4
202.109.134.25 b.com.cn
202.109.134.23 w.com.cn
202.109.134.24 c.com.cn
202.109.134.24 a.com.cn
202.109.134.23 b.com.cn
202.109.134.23 wer.com.cn
202.109.134.23 a.com.cn

1、a统计每一个 URL 被访问次数
2、b统计每一个IP他访问了什么网站
作者: bh3531    时间: 2015-11-27 00:30
本帖最后由 bh3531 于 2015-11-27 00:42 编辑

我不清楚楼主的实际情况，如果问题不在 循环上，而是在I/O上，拿就无能为力了

我虚拟机是VMWARE ，主机是SSD硬盘，1000W条 写完是 20秒，我想楼主改完代码要不会太差，我想300W ，2分钟应该足够了吧



欢迎光临 Chinaunix (http://bbs.chinaunix.net/) Powered by Discuz! X3.2