免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2042 | 回复: 8
打印 上一主题 下一主题

[文本处理] 统计包含字段的行数,求解 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2015-11-17 17:19 |只看该作者 |倒序浏览
如何统计出一样前缀的重复行,就是c=***&a=***或者a=***&c=*** 一样的行都合并,谢谢大家
/?c=APP_promotion&a=shuangshiyi_sign&verify=1252
/?c=APP_promotion&a=shuangshiyi_sign&verify=1262
/?c=APP_promotion&a=shuangshiyi_sign&verify=1265
/?c=APP_promotion&a=shuangshiyi_sign&verify=1279
/?c=APP_promotion&a=shuangshiyi_sign&verify=1284
/?c=APP_promotion&a=shuangshiyi_sign&verify=1298
/?a=cart_money_now&c=cart&channel=4&specid=106057
/?a=cart_money_now&c=cart&channel=4&specid=106069
/?a=cart_money_now&c=cart&channel=4&specid=106101
/?a=cart_money_now&c=cart&channel=4&specid=106105
/?a=cart_money_now&c=cart&channel=4&specid=106172
/?a=cart_money_now&c=cart&channel=4&specid=106186
/?a=cart_money_now&c=cart&channel=4&specid=106693
/?a=cart_money_now&c=cart&channel=4&specid=106803
/?a=cart_money_now&c=cart&channel=4&specid=106840

论坛徽章:
0
2 [报告]
发表于 2015-11-17 17:23 |只看该作者
后面的数字可以忽略

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
3 [报告]
发表于 2015-11-17 17:39 |只看该作者
  1. awk 'function w(t){match($0,t"=[^&]*",a);return a[0]}!k[w("a"),w("c")]++'  file
  2. /?c=APP_promotion&a=shuangshiyi_sign&verify=1252
  3. /?a=cart_money_now&c=cart&channel=4&specid=106057
复制代码

论坛徽章:
0
4 [报告]
发表于 2015-11-18 09:07 |只看该作者
高手,求解释,看不懂啊回复 3# haooooaaa


   

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
5 [报告]
发表于 2015-11-18 09:10 |只看该作者
回复 4# woaiyuehua



w("a") 得到 a=cart_money_now

!a[w("a"),w("c")]++   数组去重复

论坛徽章:
16
CU十二周年纪念徽章
日期:2013-10-24 15:41:3415-16赛季CBA联赛之广东
日期:2015-12-23 21:21:55青铜圣斗士
日期:2015-12-05 10:35:30黄金圣斗士
日期:2015-11-26 20:42:16神斗士
日期:2015-11-19 12:47:50每日论坛发贴之星
日期:2015-11-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-18 06:20:002015亚冠之城南
日期:2015-11-10 19:10:492015亚冠之萨济拖拉机
日期:2015-10-28 18:47:282015亚冠之柏太阳神
日期:2015-08-30 17:21:492015亚冠之山东鲁能
日期:2015-07-07 18:48:39摩羯座
日期:2014-08-29 23:01:42
6 [报告]
发表于 2015-11-18 10:07 |只看该作者
  1. awk '$0~".*c=.*&a=.*"{a++}$0~".*a=.*&c=.*"{b++}END{print a,b}' a.txt
复制代码

论坛徽章:
16
CU十二周年纪念徽章
日期:2013-10-24 15:41:3415-16赛季CBA联赛之广东
日期:2015-12-23 21:21:55青铜圣斗士
日期:2015-12-05 10:35:30黄金圣斗士
日期:2015-11-26 20:42:16神斗士
日期:2015-11-19 12:47:50每日论坛发贴之星
日期:2015-11-18 06:20:00程序设计版块每日发帖之星
日期:2015-11-18 06:20:002015亚冠之城南
日期:2015-11-10 19:10:492015亚冠之萨济拖拉机
日期:2015-10-28 18:47:282015亚冠之柏太阳神
日期:2015-08-30 17:21:492015亚冠之山东鲁能
日期:2015-07-07 18:48:39摩羯座
日期:2014-08-29 23:01:42
7 [报告]
发表于 2015-11-18 10:25 |只看该作者
  1. #!/usr/bin/awk -f

  2. BEGIN {
  3.     # Add you pattern there
  4.     mp[0]=".*c=.*&a=.*"
  5.     mp[1]=".*a=.*&c=.*"   
  6. }
  7. {
  8.     for (i in mp) {
  9.         if ($0 ~ mp[i]) {
  10.             total[i]++
  11.             next   
  12.         }   
  13.     }   
  14. }
  15. END {
  16.     for (i in mp) {
  17.         print mp[i],total[i]   
  18.     }   
  19. }
复制代码

评分

参与人数 1信誉积分 +10 收起 理由
substr函数 + 10 赞一个!

查看全部评分

论坛徽章:
0
8 [报告]
发表于 2015-11-18 11:56 |只看该作者
谢谢,高手很多回复 7# tc1989tc


   

论坛徽章:
5
IT运维版块每日发帖之星
日期:2015-11-10 06:20:00IT运维版块每日发帖之星
日期:2016-07-19 06:20:00JAVA
日期:2016-10-25 16:03:37PHP
日期:2016-10-25 16:03:37Python
日期:2016-10-25 16:03:37
9 [报告]
发表于 2015-11-19 14:32 |只看该作者
awk -F'='  '{array[$2]++}END{for (ap in array) print ap,array[ap]}'  file
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP