Chinaunix

标题: awk处理aws抓取出来的数据，相同列置为空 [打印本页]

作者: raingolee 时间: 2015-08-25 09:55
标题: awk处理aws抓取出来的数据，相同列置为空
本帖最后由 raingolee 于 2015-08-25 12:22 编辑

hi, 请教各位大哥一个aws处理文本的问题，有劳大家了，题目如下

原文件：
D2,H28,Reserved,Virginia,t2.micro,2,12.5
D2,H28,Reserved,Virginia,t2.small,1,12.583333333333334
D2,H28,OnDemand,Virginia,t2.micro,1,9.672

处理后的结果：
D2,H28,Reserved,Virginia,t2.micro,2,12.5
,,,,t2.small,1,12.583333333333334
,,OnDemand,Virginia,t2.micro,1,9.672

简单描述一下，就是判断从头开始如果列相同则制空。。。

麻烦了哦

ps: 这个原数据是我用python从aws上抓取出来了，能准确到每种instance在每个region下不同规格的价钱，有每小时的价钱，有包年的费用，大家需要的可以找我要

pps:最后的数据类似如下
D055200201;h1as;reserved;N. Virginia;270;t2.small;1;20
;;;;;c4.large;3;200
;;;;;m3.large;1;50
;;ondemand;N. Virginia;250;m3.2xlarge;1;100
;;;;;r3.large;3;150
D055400402;h3;reserved;N. Virginia;100;m3.large;1;50
;;;;;c4.large;1;50
;;ondemand;Tokyo;50;c4.large;1;50
;;ondemand;Singapore;50;c4.large;1;50

作者: tuyajie 时间: 2015-08-25 10:59
2个小问题啊：
1. 是不是比到不一样的就不比后面的列了？
2. 是只和第一行比吗？

作者: raingolee 时间: 2015-08-25 12:20
回复 2# tuyajie

【1】不一定是只比第一行，第一列其实是一个key,

【2】对，遇到不同的地方后面就不用管了

作者: ly5066113 时间: 2015-08-25 13:27
回复 1# raingolee

awk 'BEGIN{FS=OFS=","}{if(s!=$1){for(i=1;i<=NF;i++)a[i]=$i;s=$1}else{for(i=1;i<=NF;i++)if(a[i]!=$i)break;else $i=""}}1' file

复制代码

作者: raingolee 时间: 2015-08-25 14:31
回复 4# ly5066113

哇哇哇，亲测可以，感谢么么哒

作者: tuyajie 时间: 2015-08-25 14:44
回复 4# ly5066113
开始也是这么想的，但是没有大神写的怎么好。
不过我测试数据里随便复制以几行就不行了：

D2,H28,Reserved,Virginia,t2.micro,2,12.5
D2,H28,Reserved,Virginia,t2.small,1,12.583333333333334
D2,H28,OnDemand,Virginia,t2.micro,1,9.672
D2,H28,Reserved,Virginia,t2.small,1,12.583333333333334

结果出来时
D2,H28,Reserved,Virginia,t2.micro,2,12.5
,,,,t2.small,1,12.583333333333334
,,OnDemand,Virginia,t2.micro,1,9.672
,,,,t2.small,1,12.583333333333334

所以不确定楼主的数据时要跟第一行比还是上一行比。

作者: raingolee 时间: 2015-08-25 15:22
回复 6# tuyajie

额，感谢感谢，能实现就好，可以贴出来大家学习一下

其实没有所谓的参照第几个排序，我后续添加到我的原文上的效果了

作者: cwd0204 时间: 2015-08-26 18:17
提示: 作者被禁止或删除内容自动屏蔽

作者: raingolee 时间: 2015-08-31 12:08
回复 8# cwd0204

恩，我有好几个抓去的脚本，有统计每种类型instance 每个月花多少钱，有统计某个region下面，有多少个instance，每个instance的详细信息，你需要哪个呢

作者: cwd0204 时间: 2015-09-08 14:16
提示: 作者被禁止或删除内容自动屏蔽

作者: ljwd1000 时间: 2015-09-08 14:18
既然用python抓了，为啥不直接用python做处理呢

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)