免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1494 | 回复: 8
打印 上一主题 下一主题

[文本处理] awk统计 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-12-31 21:36 |只看该作者 |倒序浏览
  1. 2016 test
  2. 2017 test
  3. 2016 2011-11-11 11:11:11
  4. test test
  5. 2011-11-11 11:11:11 2012-12-12 12:12:12
  6. 2011-11-11 11:11:11     test

  7. 除了test,怎么分别统计第一列跟第二列的次数?
  8. 第一列5
  9. 第二列2
复制代码


论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
2 [报告]
发表于 2016-12-31 23:29 |只看该作者
本帖最后由 sunzhiguolu 于 2016-12-31 23:39 编辑
  1. #!/usr/bin/perl
  2. use strict;
  3. use warnings;

  4. my @aData = ();
  5. while (<DATA>){
  6.     my @aT = split (' ', $_, 2);
  7.     my $n = 0;
  8.     while (defined (local $_ = shift @aT)){
  9.         $aData[$n++]++ if (!/\Atest/);
  10.     }
  11. }

  12. print join (':', "C$_", $aData[$_]), "\n" for 0 .. $#aData;

  13. __DATA__
  14. 2016 test
  15. 2017 test
  16. 2016 2011-11-11 11:11:11
  17. test test
  18. 2011-11-11 11:11:11 2012-12-12 12:12:12
  19. 2011-11-11 11:11:11     test
复制代码

论坛徽章:
8
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015小元宵徽章
日期:2015-03-06 15:58:18每日论坛发贴之星
日期:2015-06-08 22:20:00每日论坛发贴之星
日期:2015-06-08 22:20:00操作系统版块每日发帖之星
日期:2015-06-14 22:20:00数据库技术版块每日发帖之星
日期:2015-11-09 06:20:00数据库技术版块每日发帖之星
日期:2016-02-22 06:20:0015-16赛季CBA联赛之上海
日期:2017-01-01 23:58:53
3 [报告]
发表于 2017-01-01 02:53 |只看该作者
没明白你的意思,除了test 第一列不是5次,第二列是3次吗》?

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
4 [报告]
发表于 2017-01-01 03:41 |只看该作者
回复 1# linuxbody

$ awk '{for(n=1;n<=NF;++n)if($n!="test")++a[n]}END{for(n=1;n<=NF;++n)print "col "n":",a[n]}' FILE
col 1: 5
col 2: 3
col 3: 2

论坛徽章:
8
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015小元宵徽章
日期:2015-03-06 15:58:18每日论坛发贴之星
日期:2015-06-08 22:20:00每日论坛发贴之星
日期:2015-06-08 22:20:00操作系统版块每日发帖之星
日期:2015-06-14 22:20:00数据库技术版块每日发帖之星
日期:2015-11-09 06:20:00数据库技术版块每日发帖之星
日期:2016-02-22 06:20:0015-16赛季CBA联赛之上海
日期:2017-01-01 23:58:53
5 [报告]
发表于 2017-01-01 04:29 |只看该作者
本帖最后由 zl624867243 于 2017-01-01 04:31 编辑
  1. #!/usr/bin/env python
  2. #coding:utf8
  3. f = open(r"file",'r')
  4. y1=[]
  5. y2=[]
  6. for i in f:
  7.         u = i.split()
  8.         u1 = u[0]
  9.         u2 = u[1]
  10.         if "test" not in u1:
  11.                 y1.append(u1)
  12.         if "test" not in u2:
  13.                 y2.append(u2)
  14. print "第一列的个数为: {0}".format(len(y1))
  15. print "第二列的个数为: {0}".format(len(y2))
复制代码
第一列的个数为: 5
第二列的个数为: 3

睡觉了

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
6 [报告]
发表于 2017-01-02 12:00 |只看该作者

列分隔符是tab(\t)吗? 还是空格?

论坛徽章:
6
羊年新春福章
日期:2015-03-03 17:16:28双子座
日期:2015-03-03 17:16:56巳蛇
日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建
日期:2016-03-11 09:05:00黑曼巴
日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林
日期:2016-11-14 09:23:07
7 [报告]
发表于 2017-01-03 09:34 |只看该作者
  1. awk '{if($1!="test"){a[1]++};if($2!="test"){a[2]++}}END{printf("第一列%d\n",a[1]);printf("第二列%d\n",a[2])}' file
复制代码

论坛徽章:
0
8 [报告]
发表于 2017-01-03 12:48 |只看该作者
awk '{if(NF>max){max=NF}for(i=1;i<=NF;i++){if($i!="test")a[i]++}}END{for(i=1;i<=max;i++)print "第"i"列: "a[i]}' file

论坛徽章:
2
程序设计版块每日发帖之星
日期:2015-09-07 06:20:00程序设计版块每日发帖之星
日期:2015-09-07 06:20:00
9 [报告]
发表于 2017-01-03 17:52 |只看该作者
  1. [root@CentOS_6 experiment]# cat test.awk
  2. {
  3.   for(i=1;i<=NF;i++){
  4.     if($i!="test"){
  5.       ++array[i]
  6.     }
  7.   }
  8. }
  9. END{for(j in array){print array[j]}}
  10. [root@CentOS_6 experiment]# cat test.txt
  11. 2016            test
  12. 2017            test
  13. 2016            2011-11-11      11:11:11
  14. test            test
  15. 2011-11-11      11:11:11        2012-12-12 12:12:12
  16. 2011-11-11      11:11:11        test
  17. [root@CentOS_6 experiment]# awk -f test.awk test.txt
  18. 1
  19. 5
  20. 3
  21. 2
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP