免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 文件处理
最近访问板块 发新帖
查看: 2349 | 回复: 5
打印 上一主题 下一主题

文件处理 [复制链接]

linux68

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2011-07-01 11:05 |只看该作者 |倒序浏览
本帖最后由 linux68 于 2011-07-01 11:47 编辑

有一个如下格式的文件：
列号： 1                   2            3                        4                           5                  6                7               8
2011-06-30        key        q4:1$q3:4        f1:10$f6:21$int:19        a1:12$a4:8        c5:10        k9:21$k26:9          10
2011-06-30        key        q4:6$q3:6        f1:15$f6:11        a1:22$a4:18 c5:12 k9:11$k26:19                  
2011-06-30        key        q4:3          f1:5          a1:6$a4:6    c5:28        k9:19$k26:11   
像3-7这样的列很多，比如说有15列，文件每列之间用tab分隔，我想把文件处理成如下的结果，3-7这样的列里面冒号前面相同的值要相加，如果是像8列这样的列在结果中就不打印了，
请问怎么用awk实现呢？谢谢！
                                  列号
2011-06-30        key        3        q4        10
2011-06-30        key        3        q3        10
2011-06-30        key        4        f1        30
2011-06-30        key        4        f6        32
2011-06-30        key        4        int        19
2011-06-30        key        5        a1        40
2011-06-30        key        5        a4        32
2011-06-30        key        6        c5        50
2011-06-30        key        7        k9        51
2011-06-30        key        7        k26        39
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
2楼 [报告]
发表于 2011-07-01 12:02 |只看该作者
有一个如下格式的文件：
列号： 1                   2            3                        4           ...
linux68 发表于 2011-07-01 11:05



$ awk '{for(m=3;m<=NF;m++){split($m,d,/[:\$]/);n=1;while(d[n]){k[$1"\t"$2"\t"m"\t"d[n]]+=d[n+1];n+=2}}}END{n=asorti(k,N);for(t=1;t<=n;t++){print N[t]"\t"k[N[t]]}}' FILE
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
linux68

论坛徽章:
0
3楼 [报告]
发表于 2011-07-01 12:03 |只看该作者
那位朋友给看看，谢谢了，着急
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yinyuemi

论坛徽章:
2
射手座 日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海 日期:2016-03-03 10:27:14
4楼 [报告]
发表于 2011-07-01 12:38 |只看该作者
本帖最后由 yinyuemi 于 2011-07-01 12:41 编辑

回复 1# linux68
  1. $ echo '2011-06-30        key        q4:1$q3:4        f1:10$f6:21$int:19        a1:12$a4:8        c5:10        k9:21$k26:9
  2. 2011-06-30        key        q4:6$q3:6        f1:15$f6:11        a1:22$a4:18 c5:12 k9:11$k26:19
  3. 2011-06-30        key        q4:3          f1:5          a1:6$a4:6    c5:28        k9:19$k26:11' |\
  4. awk '{for(i=3;i<=NF;i++){len=split($i,a,/[:$]/);{for(j=1;j<=len;j++) {n=a[j];j++;b[$1"\t"$2"\t"i"\t"n]+=a[j]}}}}END{for(m in b)print m"\t"b[m]}' |\
  5. sort -k3,3n
  6. 2011-06-30      key     3       q3      10
  7. 2011-06-30      key     3       q4      10
  8. 2011-06-30      key     4       f1      30
  9. 2011-06-30      key     4       f6      32
  10. 2011-06-30      key     4       int     19
  11. 2011-06-30      key     5       a1      40
  12. 2011-06-30      key     5       a4      32
  13. 2011-06-30      key     6       c5      50
  14. 2011-06-30      key     7       k26     39
  15. 2011-06-30      key     7       k9      51
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
linux68

论坛徽章:
0
5楼 [报告]
发表于 2011-07-01 13:41 |只看该作者
谢谢楼上的兄弟！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lionfun

论坛徽章:
0
6楼 [报告]
发表于 2011-07-01 17:39 |只看该作者
  1. [root@station3 ~]# awk '{for(i=3;i<=7;i++){split($i,s,"$");for(j in s){t=index(s[j],":");b[i"\t"substr(s[j],1,t-1)]+=substr(s[j],t+1);c[i"\t"substr(s[j],1,t-1)]=$1"\t"$2}}}END{for(i in b)print c[i]"\t"i"\t"b[i]}' b.txt  | sort -k3
  2. 2011-06-30      key     3       q3      10
  3. 2011-06-30      key     3       q4      10
  4. 2011-06-30      key     4       f1      30
  5. 2011-06-30      key     4       f6      32
  6. 2011-06-30      key     4       int     19
  7. 2011-06-30      key     5       a1      40
  8. 2011-06-30      key     5       a4      32
  9. 2011-06-30      key     6       c5      50
  10. 2011-06-30      key     7       k26     39
  11. 2011-06-30      key     7       k9      51
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP