AWK分组统计遇到的难题，求大神帮忙看看

2248388401

substr函数 发表于 2015-11-23 20:03
这样

python还没有环境试，等我有环境了试试哈

jason680

回复 1# 2248388401

$ awk -F'|' '{if(!k[$1,$2]++){a[$1]++;print $2>$1".txt"}}END{for(n in a)print n,a[n]}' FILE
a.com.cn 2
c.com.cn 1
b.com.cn 2

$ grep . *.com.cn.txt
a.com.cn.txt:202.109.134.23
a.com.cn.txt:202.109.134.24
b.com.cn.txt:202.109.134.23
b.com.cn.txt:202.109.134.25
c.com.cn.txt:202.109.134.24

   

lgfang

回复 1# 2248388401

你说CPU不高，你是看的总cpu使用率还是单核的cpu使用率。现在服务器上都是好多核，所以一核100%但总使用率可能只有10%。 rhel，在top命令下按数字1能看到具体各核的使用率。

另外iowait高么？

2248388401

lgfang 发表于 2015-11-24 10:37
回复 1# 2248388401

你说CPU不高，你是看的总cpu使用率还是单核的cpu使用率。现在服务器上都是好多核， ...

确实是平均CPU使用率不高，但单核CPU基本上95%以上这种，但iowait不高，这个如何优化呢

lgfang

回复 14# 2248388401


    这么看来瓶颈还是cpu，必须设法把任务分成多线程/进程放到不同的核上去。比如说把记录拆成几份同时分别处理，然后再汇总。


另外，gnu有个看起来很酷的工具  parallel 可能可以派上用场（但我从来没用过）。 http://www.rankfocus.com/use-cpu-cores-linux-commands/

waxwork3

既然是CPU太高，那就分散CPU压力，在记录生成时就加入两个MD5字段，取MD5定长16进制转为十进制存储，后期只比较数值，效率会上几个数量级。

bh3531

awk -F "|" '{a[$1]++;b[$2" "$1]}END{for(i in a)print i,a;for(i in b){split(i,c," ");print c[1],c[2]}}' b

a.com.cn 7
wer.com.cn 1
w.com.cn 3
c.com.cn 2
b.com.cn 4
202.109.134.25 b.com.cn
202.109.134.23 w.com.cn
202.109.134.24 c.com.cn
202.109.134.24 a.com.cn
202.109.134.23 b.com.cn
202.109.134.23 wer.com.cn
202.109.134.23 a.com.cn

1、a统计每一个 URL 被访问次数
2、b统计每一个IP他访问了什么网站

bh3531

我不清楚楼主的实际情况，如果问题不在 循环上，而是在I/O上，拿就无能为力了

我虚拟机是VMWARE ，主机是SSD硬盘，1000W条 写完是 20秒，我想楼主改完代码要不会太差，我想300W ，2分钟应该足够了吧