免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1852 | 回复: 8
打印 上一主题 下一主题

shell二维表信息处理问题,亟待解决! [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-05-14 12:06 |只看该作者 |倒序浏览
shell 处理脚本编写:
功能为合并第一列前缀相同的内容,并累加计算出后续列内容及数量,脚本越简单越好。
-----------------------------------
Abcd    err1 100    err2    2000
Abcdf   err2 2000   err4    200
Bdadf   err10 90    err90   10
Badfa   err10 10    err23   50

-------------------------
输出结果
A err1 100 err2 4000 err4 200
B err10 100 err90 10 err23 50


论坛徽章:
0
2 [报告]
发表于 2012-05-14 13:24 |只看该作者
没看懂........

论坛徽章:
0
3 [报告]
发表于 2012-05-14 13:42 |只看该作者
自己实现了一个方法,比较乱

awk '{
    idx1=substr($1,1,4)""$2;
    for( i = 2; i < NF;i+=2)
    {
        idx2=sprintf("%s %s",idx1,$i);
        err_list[idx2]+=$(i+1);
    }
}END{
    for(i in err_list )
    {
      printf("%s %.0f\n",i,err_list[i])|"sort"
      
    }
}'  $1 | awk 'BEGIN{
run_once = 1;
}{
    cnt=arr[$1];
    if( run_once == 1 && cnt == 0)
    {
        run_once = 2;
        printf("%s %s %.0f",$1,$2,$3);
        arr[$1]=1;
        err[$2]=1;
    }
    else if( cnt == 0 )
    {
        printf("\n%s %s %.0f",$1,$2,$3);
        arr[$1]=1;
        err[$2]=1;
    }
    else
    {
        arr[$1]++;
        printf(" %s %.0f" ,$2 ,$3);
    }
}END{
    printf("\n");
}'

论坛徽章:
0
4 [报告]
发表于 2012-05-14 13:44 |只看该作者
意思很简单,分类统计信息,规则就像描述的测试数据一样。

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
5 [报告]
发表于 2012-05-14 14:13 |只看该作者
回复 1# e_member

How about this one

perl -ane '{$k=substr(shift(@F),0,1);while($n=shift(@F)){$v=shift(@F);$h{$k}{$n}+=$v}}END{for(sort keys %h){print "$_ ";for $k(sort keys %{$h{$_}}){print "$k $h{$_}{$k} "}print"\n"}}' FILE
A err1 100 err2 4000 err4 200
B err10 100 err23 50 err90 10

   

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
6 [报告]
发表于 2012-05-14 14:13 |只看该作者
  1. awk '{s=substr($1,1,1);b[s];for (i=2;i<=NF;i=i+2) {a[s FS $i]+=$(i+1);c[$i]}}
  2.     END{ for (i in b)
  3.             { printf i OFS;
  4.               for (j in c) if (a[i FS j]+0!="0") printf j OFS a[i FS j] OFS;
  5.               printf ORS
  6.             }
  7.        }' OFS="\t"  infile

  8. A       err1    100     err2    4000    err4    200
  9. B       err23   50      err90   10      err10   100

复制代码

论坛徽章:
0
7 [报告]
发表于 2012-05-14 16:08 |只看该作者
谢谢您的回答!使用perl来处理是个很不错的方法,用shell写完了,我可以在使用perl试试,应该比shell实现起来简单些。
回复 5# jason680


   

论坛徽章:
0
8 [报告]
发表于 2012-05-14 16:10 |只看该作者
这个比较精简了,就需要这种思路。谢谢版主的回答!回复 6# rdcwayx


   

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
9 [报告]
发表于 2012-05-14 22:38 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP