忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 徽章 文库 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 1669 | 回复: 3

怎么提取重复信息 [复制链接]

论坛徽章:
1
15-16赛季CBA联赛之八一
日期:2017-11-21 11:32:00
发表于 2017-11-20 22:23 |显示全部楼层
本帖最后由 LT2016 于 2018-01-03 09:13 编辑

大家好,请教大家一个问题,我有一个文件像下面这样:
1,2列有重复,

S1    A1     1
S1    A1     2
S2    A1     1
S2    A1     3
S1    A2     2
S1    A2     1
S3    A2     1
S2    A2     1

我想统计第2列对应的第1列元素个数和唯一元素个数,以及各自出现的次数,将对应的第3列信息也输出,得到下面的结果,请教怎么实现呢?谢谢大家了

A1   4    2    S1:1,2;S2:1,3
A2   4    3    S1:2,1;S3:1;S2:1



论坛徽章:
32
荣誉会员
日期:2011-11-23 16:44:17射手座
日期:2014-09-03 16:01:17天蝎座
日期:2014-08-21 17:18:48丑牛
日期:2014-08-29 16:06:45天秤座
日期:2014-08-29 10:12:18天秤座
日期:2014-08-26 16:18:20双子座
日期:2014-07-30 11:38:27寅虎
日期:2014-08-04 10:24:12IT运维版块每日发帖之星
日期:2016-04-17 06:23:27操作系统版块每日发帖之星
日期:2016-04-18 06:20:00IT运维版块每日发帖之星
日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津
日期:2016-05-06 12:46:59
发表于 2017-11-21 15:46 |显示全部楼层
hash ?

论坛徽章:
128
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2017-11-22 11:51 |显示全部楼层
本帖最后由 jason680 于 2017-11-23 08:08 编辑

回复 1# LT2016

$ perl  get_item.pl FILE
A1 2 S2;S1 S2:1,3;S1:1,2
A2 3 S1;S2;S3 S1:2,1;S2:1;S3:1

$ cat get_item.pl
use strict;
use warnings;

my %hData;
my %hCnt;

while(<>){
  chomp;
  my($sS, $sA, $sN) = split;
  if(! exists $hData{$sA}{$sS}){
    $hData{$sA}{$sS} = $sN;
    ++$hCnt{$sA};
  }
  else{
    $hData{$sA}{$sS} .= ",$sN";
  }
}
foreach my $sKey(keys %hData){
  my $sCnt = 0;
  my $sStr = "";
  my $sSxx = "";
  foreach(keys %{$hData{$sKey}}){
    ++$sCnt;
    $sStr .= ";$_:$hData{$sKey}{$_}";
    $sSxx .= ";$_"
  }
  $sSxx =~ s/;//;
  $sStr =~ s/;//;
  print join(" ", $sKey, $sCnt, $sSxx, $sStr), "\n";
}

$ cat FILE
S1    A1     1
S1    A1     2
S2    A1     1
S2    A1     3
S1    A2     2
S1    A2     1
S3    A2     1
S2    A2     1

论坛徽章:
7
戌狗
日期:2013-12-15 20:43:38技术图书徽章
日期:2014-03-05 01:33:12技术图书徽章
日期:2014-03-15 20:31:17未羊
日期:2014-03-25 23:48:20丑牛
日期:2014-04-07 22:37:44巳蛇
日期:2014-04-11 21:58:0915-16赛季CBA联赛之青岛
日期:2016-03-17 20:36:13
发表于 2017-11-23 02:01 |显示全部楼层
回复 1# LT2016
shishi ~~
  1. #!/usr/bin/perl
  2. # version 26, subversion 0 (v5.26.0)
  3. use 5.024;

  4. my %dit;
  5. while (<DATA>) {
  6.     my ( $S, $A, $N ) = split;
  7.     push @{ $dit{$A}{$S} }, $N;
  8. }
  9. while ( my ( $C1, $V ) = each %dit ) {
  10.     my ( $C2, $C3, $C4, $C5 );
  11.     for my $K ( sort keys %$V ) {
  12.         my $N = $V->{$K};
  13.         $C2 += @$N;
  14.         $C3++;
  15.         $C4 .= ( $C4 ? ';' : '' ) . "$K(" . @$N . ')';
  16.         $C5 .= ( $C5 ? ';' : '' ) . "$K:" . join( ',', @$N );
  17.     }
  18.     say join "\t", $C1, $C2, $C3, $C4, $C5;
  19. }

  20. __DATA__
  21. S1    A1     1
  22. S1    A1     2
  23. S2    A1     1
  24. S2    A1     3
  25. S1    A2     2
  26. S1    A2     1
  27. S3    A2     1
  28. S2    A2     1
复制代码

您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP