免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3445 | 回复: 6
打印 上一主题 下一主题

[文本处理] awk 统计两列中的数据 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-12-05 10:37 |只看该作者 |倒序浏览
本帖最后由 z421941982 于 2012-12-05 10:50 编辑

有一文件内容如下:
  1. [root@xxxx]# cat file
  2. 1       aaa
  3. 1       bbb
  4. 1       aaa
  5. 1       ccc
  6. 2       aaa
  7. 2       bbb
  8. 2       ccc
  9. 3       aaa
  10. 3       bbb
  11. 3       aaa
复制代码
想用一条命令得到结果:
1.第一列值相同的行数,
如:上文件中第一列值为1的行数为 4

2 .第一列值为 "1" 对应的第二列 数据值 去重复后的个数.
比如: 该文件中第一列值为1 的行中 对应的第二列的数据分别为 aaa bbb aaa ccc  , 将这些数据去重后再统计个数 为 3, 得到结果为  1  3.

综合结果即:
1    4    3   
2    3    3
3    3    2

论坛徽章:
8
摩羯座
日期:2014-11-26 18:59:452015亚冠之浦和红钻
日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者
日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东
日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川
日期:2016-02-16 16:08:30程序设计版块每日发帖之星
日期:2016-06-29 06:20:002017金鸡报晓
日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山
日期:2017-02-27 20:41:19
2 [报告]
发表于 2012-12-05 10:50 |只看该作者
sort -u一下行不行?

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
3 [报告]
发表于 2012-12-05 10:53 |只看该作者
本帖最后由 jason680 于 2012-12-05 10:55 编辑

回复 1# z421941982

$ awk '{if(!a[$1,$2]++)c[$1]++;b[$1]++}END{for(n in c)print n"\t"b[n]"\t"c[n]}' file
1        4        3
2        3        3
3        3        2

论坛徽章:
0
4 [报告]
发表于 2012-12-05 10:55 |只看该作者
回复 2# waker   刚刚改了一下需求, 二个分开实现是很容易的, 主要是想综合起来, 看能不能一次性搞定.



   

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
5 [报告]
发表于 2012-12-05 10:59 |只看该作者
本帖最后由 yestreenstars 于 2012-12-05 11:03 编辑
  1. awk '{if(a[$1]){if(!b[$1,$2]++)a[$1]++}else a[$1]=++b[$1,$2];c[$1]++}END{for(i in a)print i,c[i],a[i]}'
复制代码

论坛徽章:
0
6 [报告]
发表于 2012-12-05 11:06 |只看该作者
回复 3# jason680 牛, 能解释一下不?





   

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
7 [报告]
发表于 2012-12-05 11:09 |只看该作者
回复 6# z421941982


  去重   if(!a[$1,$2]++)c[$1]++;
不去重  b[$1]++
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP