免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 5006 | 回复: 13
打印 上一主题 下一主题

关于AWK 的处理文件内容 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-08-09 17:37 |只看该作者 |倒序浏览
本帖最后由 cczn 于 2011-08-11 19:56 编辑

关于AWK 的处理文件内容 我说的有些问题这里在详细描述下。

连续的两行(用户ID , 邮箱 )可以用 下一行的金额减去上一行得金额然后输出运算结果,
不连续的直接输出结果就可以
(我的数据文件是不规则的有2个连续的也有一个单独的 但是相同的用户ID 邮箱这样数据不会有3行)
而且最好不连续的数据直接输出的加个标示符号例如 OK

例:

用户ID , 邮箱 ,金额
-------------------------
444444,ppp@pppp.com,100
555555,ooo@oooo.com,100
123456,abc@test.com,105
123456,abc@test.com,205
999999,zzz@163.com,300
111111,hhh@163.com,200
111111,hhh@163.com,300
888888,test1@test1.com,500
888888,test2@test2.com,100

输出结果:
444444,ppp@pppp.com,100 OK
555555,ooo@oooo.com,100 OK
123456,abc@test.com,100
999999,zzz@163.com,300 OK
111111,hhh@163.com,100
888888,test1@test1.com,500 OK
888888,test2@test2.com,100 OK

请高手指教!
多谢大家!

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
2 [报告]
发表于 2011-08-09 18:18 |只看该作者
连续的两行(用户ID , 邮箱 )可以用 大的金额减去小得金额然后输出运算结果,
不连续的直接输出结果就可以 ...
cczn 发表于 2011-08-09 17:37



$ echo '用户ID , 邮箱 ,金额
-------------------------
123456,abc@test.com,105
123456,abc@test.com,205
111111,hhh@163.com,200
111111,hhh@163.com,300
144888,test1@test1.com,500
144999,test2@test2.com,100' | awk -F, '/^[0-9]/{m[$1]=a[$1]?m[$1]-$33;a[$1]=$1","$2}END{for(x in m)print a[x]","(m[x]>0?m[x]:-m[x])}'
111111,hhh@163.com,100
144999,test2@test2.com,100
123456,abc@test.com,100
144888,test1@test1.com,500

论坛徽章:
10
天蝎座
日期:2013-09-22 22:32:23程序设计版块每日发帖之星
日期:2016-08-07 06:20:00lufei
日期:2016-06-17 17:38:40程序设计版块每日发帖之星
日期:2016-06-12 06:20:002016科比退役纪念章
日期:2016-05-31 15:47:20CU十四周年纪念徽章
日期:2016-05-27 12:24:562015年亚洲杯之阿曼
日期:2015-05-03 21:01:352015年辞旧岁徽章
日期:2015-03-03 16:54:15天蝎座
日期:2013-10-20 21:05:24程序设计版块每日发帖之星
日期:2016-08-11 06:20:00
3 [报告]
发表于 2011-08-09 18:49 |只看该作者
本帖最后由 liion631818 于 2011-08-10 13:42 编辑

  1. #!/bin/bash

  2. awk -F',' '
  3. {
  4.     if (first_line == "") {
  5.         first_line = $0
  6.         id = $1
  7.         cash = $3
  8.     }
  9.     if (second_line == "") {
  10.         getline
  11.     }
  12.     second_line = $0

  13.     if (id == $1) {
  14.         print $1 "," $2 "," ($3 > cash ? $3 - cash : cash - $3)
  15.         first_line = ""
  16.         second_line = ""
  17.         end = 1
  18.     }
  19.     else {
  20.         print first_line, "OK"
  21.         first_line = second_line
  22.         id = $1
  23.         cash = $3
  24.         end = 0
  25.     }
  26. }
  27. END {
  28.     if (!end) {
  29.         print second_line, "OK"
  30.     }
  31. }
  32. ' file
复制代码

论坛徽章:
0
4 [报告]
发表于 2011-08-09 18:59 |只看该作者
  1. awk -F, -v OFS=,
  2. '
  3. a[$1$2]{$3=int($3-b);print;c=0;next}
  4.    
  5. {a[$1$2]++;b=$3;if(c)print c;c=$0}
  6.    
  7. END{if(c)print c}
  8. '
  9. file
复制代码

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
5 [报告]
发表于 2011-08-09 21:47 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
6 [报告]
发表于 2011-08-10 13:25 |只看该作者
回复 2# jason680


    谢谢 您的回复,昨天我说的不是很明白,您现在这个是最大值减去小得  我现在需要下一行减去上一行数据,输出 不连续的行输出可以加个标示 谢谢 高手指教

论坛徽章:
0
7 [报告]
发表于 2011-08-10 14:28 |只看该作者
回复 6# cczn
  1. ywlscpl@ubuntu:~$ awk -F, '/@/{a[$1","$2]=$3"-"a[$1","$2]}END{for (i in a) {split(a[i],m,"-");print i","m[1]-m[2](m[2]?"":" ok")}}' file   
  2. 144999,test2@test2.com,100 ok
  3. 144888,test1@test1.com,500 ok
  4. 123456,abc@test.com,100
  5. 999999,zzz@163.com,300 ok
  6. 444444,ppp@pppp.com,100 ok
  7. 111111,hhh@163.com,100
  8. 555555,ooo@oooo.com,100 ok
复制代码

评分

参与人数 1可用积分 +10 收起 理由
expert1 + 10 思路太奇特了。

查看全部评分

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
8 [报告]
发表于 2011-08-10 14:45 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
9 [报告]
发表于 2011-08-10 14:48 |只看该作者
回复 7# ywlscpl


    a[$1","$2]=$3"-"a[$1","$2]

用的让人赞啊。太暴力了。

论坛徽章:
0
10 [报告]
发表于 2011-08-10 14:54 |只看该作者
awk
  1. awk -F, '$1","$2==p {print p","$3-v;p="";next}p{print s,"ok"}{s=$0;v=$NF;p=$1","$2}END{if(p)print $0,"ok"}' urfile
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP