免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2086 | 回复: 10
打印 上一主题 下一主题

[文本处理] 关于ip日志统计的问题~~~~ [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-01-08 23:16 |只看该作者 |倒序浏览
比如ip.txt 如下 第一列为ip地址 第二列为访问次数

  1. 1.2.3.4 30
  2. 1.2.5.100 100
  3. 1.2.6.220 44
  4. 1.2.7.119 60
  5. 1.2.10.29 210
  6. 1.2.11.110 150
  7. ........
复制代码
city.txt 如下 第一列也是ip段,第二列为城市

  1. 1.2.6.* 北京
  2. 1.2.7.* 天津
  3. 1.2.10.* 山东
  4. 1.2.3.* 山西
  5. 1.2.5.* 河南
  6. 1.2.11.* 上海
  7. ......
复制代码
怎么才能用 让这两个文件的数据合并成这样的形式 例如:
1.2.3.4     30 山西
1.2.5.100 100 河南
1.2.6.220 44 北京
......等等

{:3_198:}

论坛徽章:
0
2 [报告]
发表于 2013-01-09 00:06 |只看该作者
本帖最后由 rongpmcu 于 2013-01-09 09:48 编辑

awk -F "[. ]" 'NR==FNR{a[$1"."$2"."$3]=$0}NR>FNR{for(i in a){if(index($0,i)){print a,$5}}}' ip.txt city.txt
或者:
awk -F "[. ]" 'NR==FNR{a[$1"."$2"."$3]=$0}NR>FNR{for(i in a){if(index($0,i)){print a,$5; next}}}' ip.txt city.txt

1.2.6.220 44 北京
1.2.7.119 60 天津
1.2.10.29 210 山东
1.2.3.4 30 山西
1.2.5.100 100 河南
1.2.11.110 150 上海


不要用这个,呵呵  有bug  本身这个命令有bug(不支持相同前缀的ip),还有就是cu有bug  数组显示不出来  a  我是要取a的第i的元素,
但是。。。。   cu的bug也遇到好多次了


这样就可以了,参考楼下的啦 呵呵
  1. # awk -F "[. ]" 'NR==FNR{a[$1"."$2"."$3"."]=$5}NR>FNR{for(i in a){if(index($0,i)){print $0,a[i]; next}}print $0}' city.txt ip.txt   
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
3 [报告]
发表于 2013-01-09 00:12 |只看该作者
  1. awk 'NR==FNR{sub(/\*/,"");a[$1]=$2;next}{b=gensub(/(.*\.).*/,"\\1",1);print $0,a[b]}' city.txt ip.txt
复制代码

论坛徽章:
0
4 [报告]
发表于 2013-01-09 10:34 |只看该作者
回复 3# yestreenstars


    {:3_189:} 感谢星辰~不知道gensub能不能别的函数呀 我机器上暂时没这个函数~

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
5 [报告]
发表于 2013-01-09 10:37 |只看该作者
回复 4# jy01768678


    试试gawk。你用的是什么系统?

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
6 [报告]
发表于 2013-01-09 10:50 |只看该作者
回复 4# jy01768678


    用sub吧。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
7 [报告]
发表于 2013-01-09 11:10 |只看该作者
回复 4# jy01768678
  1. awk 'NR==FNR{sub(/\*/,"");a[$1]=$2;next}{b=$0;sub(/[^\.]* .*/,"");print b,a[$0]}' city.txt ip.txt
复制代码

论坛徽章:
93
2015年辞旧岁徽章
日期:2019-10-10 10:51:15CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2020-10-15 16:55:55CU大牛徽章
日期:2014-02-21 14:22:07羊年新春福章
日期:2019-10-10 10:51:39CU大牛徽章
日期:2019-10-10 10:55:38季节之章:春
日期:2020-10-15 16:57:40ChinaUnix元老
日期:2019-10-10 10:54:42季节之章:冬
日期:2019-10-10 10:57:17CU大牛徽章
日期:2014-02-21 14:22:52CU大牛徽章
日期:2014-03-13 10:40:30CU大牛徽章
日期:2014-02-21 14:23:15
8 [报告]
发表于 2013-01-09 14:11 |只看该作者
本以为 join 专做这事的,没想到弄成这么复杂,而且还把顺序弄乱了,真是不好意思啊:
  1. [seesea@UC ~]$ join -o2.2 2.3 1.3 <(sed -r 's/(.*)\.[^.]+$/\1 &/g' city.txt | sort ) <(sed -r 's/(.*)\.[^.]+$/\1 &/g' ip.txt | sort)
  2. 1.2.10.29 210 山东
  3. 1.2.11.110 150 上海
  4. 1.2.3.4 30 山西
  5. 1.2.5.100 100 河南
  6. 1.2.6.220 44 北京
  7. 1.2.7.119 60 天津
复制代码

论坛徽章:
0
9 [报告]
发表于 2013-01-09 16:48 |只看该作者
  1. awk -F'[. ]' 'NR==FNR{a[$1"."$2"."$3]=$NF}NR>FNR{for(i in a)if($0~i)print $0,a[i]}' city.txt ip.txt
复制代码

论坛徽章:
0
10 [报告]
发表于 2013-01-09 18:42 |只看该作者
回复 5# Shell_HAT

ubuntu 11.10{:3_193:}
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP