免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 6033 | 回复: 18
打印 上一主题 下一主题

[文本处理] 如何同时对两列去重合统计行数 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-09-26 16:39 |只看该作者 |倒序浏览
本帖最后由 viato 于 2013-09-26 17:42 编辑

请教
一个文件内容如下:

  1. aa 11
  2. cc 12
  3. bb 14
  4. aa 14
  5. bb 15
  6. cc 17
复制代码
得到的结果是 3 5 ,第一列去重是3行,第二列是5行

怎么可以同时对他的两列去重,和去重后两列分别的行数
这样只能对一列其作用
awk '!a[$1]++' | awk '{a++}END{print a}'

论坛徽章:
1
技术图书徽章
日期:2013-08-30 10:47:12
2 [报告]
发表于 2013-09-26 16:49 |只看该作者
把你要的结果贴出来

论坛徽章:
7
亥猪
日期:2013-10-10 17:00:29辰龙
日期:2013-10-12 16:23:19卯兔
日期:2013-11-18 17:01:27金牛座
日期:2014-09-09 10:17:052015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之柏太阳神
日期:2015-09-25 13:56:42数据库技术版块每日发帖之星
日期:2016-08-06 06:20:00
3 [报告]
发表于 2013-09-26 16:53 |只看该作者
目测是不是这个意思?
  1. awk '{a[$0]++}END{for(i in a)print i FS a[i]}' file
复制代码

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
4 [报告]
发表于 2013-09-26 17:04 |只看该作者
回复 1# viato
  1. sort file|uniq -c
复制代码

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
5 [报告]
发表于 2013-09-26 17:04 |只看该作者
回复 1# viato


    是这样么?
  1. awk '!a[$1]++&&!a[$2]++{i++}END{print i}' file
复制代码

论坛徽章:
0
6 [报告]
发表于 2013-09-26 17:42 |只看该作者
我把要得到的结果更新了

论坛徽章:
0
7 [报告]
发表于 2013-09-26 17:47 |只看该作者
回复 3# li0924


    不是,我把要的结果更新了一下

论坛徽章:
50
15-16赛季CBA联赛之广夏
日期:2018-11-05 09:42:462015年亚冠纪念徽章
日期:2015-07-23 11:58:122015亚冠之广州富力
日期:2015-07-07 08:26:172015亚冠之塔什干棉农
日期:2015-06-29 09:08:072015年亚洲杯之伊朗
日期:2015-03-08 20:51:012015年迎新春徽章
日期:2015-03-04 09:58:11未羊
日期:2014-10-16 22:41:47处女座
日期:2014-10-16 15:33:33酉鸡
日期:2014-03-13 12:54:10巳蛇
日期:2014-03-10 14:39:052015亚冠之德黑兰石油
日期:2015-07-29 12:46:372015亚冠之德黑兰石油
日期:2015-08-07 12:54:11
8 [报告]
发表于 2013-09-26 18:10 |只看该作者
回复 7# viato
  1. awk '!a[$1]++{i++}!a[$2]++{j++}END{print i,j}' file
复制代码

论坛徽章:
0
9 [报告]
发表于 2013-09-26 18:23 |只看该作者
回复 8# WilliBhamlll


   就是这个结果,学习了

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
10 [报告]
发表于 2013-09-26 18:51 |只看该作者
回复 6# viato
  1. awk '{a[$1];b[$2]}END{print length(a),length(b)}'  file   
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP