免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2077 | 回复: 8
打印 上一主题 下一主题

[文本处理] 自觉研究了二天shell,啃不下。求大神助攻 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-06-12 11:10 |只看该作者 |倒序浏览
本帖最后由 DianWen119 于 2017-06-12 15:09 编辑

key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63
key:web02,doc_count:54
key:v.xxx.cn,doc_count:97,key:web02,doc_count:64
key:magpie,doc_count:33
key:api.xiaopeng2.xxx.com,doc_count:49,key:web02,doc_count:26
key:magpie,doc_count:23
key:dls.xxx.cn,doc_count:23,key:hippo,doc_count:23
keyxx.cn,doc_count:13,key:magpie,doc_count:10
key:web02,doc_count:3
key:pay.xxx.cn,doc_count:11,key:magpie,doc_count:7
key:web02,doc_count:4
key:api.wap.xxx.com,doc_count:1,key:web02,doc_count:1
key:e.xxx.cn,doc_count:3,key:magpie,doc_count:2
key:web02,doc_count:1


图就是上面给的文本哈。图带有行号,方便下边进行说明。

像第1行,它的下一行(第2行)只有一个key 。 所以要求把第2行,并到第一行最后面。(当只有一个key的时候,就合并到上一行最后!)像第7行这种,就作为单独一行。因为它下一行,不止一个key。
key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63
key:web02,doc_count:54
    处理成(---这个手打的,间开,方便看题者肉眼分辨):
key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63---key:web02,doc_count:54
--------------
key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63
key:web02,doc_count:54   像这个第1,2行,其实意思就是tg.xx.cn这个域名访问3次,A主机访问2次,B主机访问1次。。这个作为看懂文本内含的说明。不会出现连续多个,单个key的行。
-------------


-------------------------
要是有超神阶大能,希望可以用sed  awk  各来一发~~
@dn833大神,小弟神往已久~~





论坛徽章:
0
2 [报告]
发表于 2017-06-12 15:12 |只看该作者
w=""

for i in `cat a`
do
        n=`echo $i|awk -F key: '{ print NF }'`
        if [ $n -gt 2 ]
        then
                echo 1
                echo -e "$w \n " >>c
        else
                echo 0
                echo -e "$w \c  --" >>c
        fi
        w=$i
done

echo $w >>c

评分

参与人数 1信誉积分 +5 收起 理由
DianWen119 + 5 很给力!

查看全部评分

论坛徽章:
0
3 [报告]
发表于 2017-06-12 18:14 |只看该作者
sed ':a;N;/\nkey.*key/!s/\n/,/;ta;D'  1
大神给了这个。。

有没有来个awk的~~小弟学习学习

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
4 [报告]
发表于 2017-06-12 20:49 |只看该作者
回复 3# DianWen119

$ awk 'BEGIN{FS=OFS="key:"}{ORS=NF>2?",":"\n"}1' FILE
key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63,key:web02,doc_count:54
key:v.xxx.cn,doc_count:97,key:web02,doc_count:64,key:magpie,doc_count:33
key:api.xiaopeng2.xxx.com,doc_count:49,key:web02,doc_count:26,key:magpie,doc_count:23
key:dls.xxx.cn,doc_count:23,key:hippo,doc_count:23,keyxx.cn,doc_count:13,key:magpie,doc_count:10,key:web02,doc_count:3
key:pay.xxx.cn,doc_count:11,key:magpie,doc_count:7,key:web02,doc_count:4
key:api.wap.xxx.com,doc_count:1,key:web02,doc_count:1,key:e.xxx.cn,doc_count:3,key:magpie,doc_count:2,key:web02,doc_count:1

论坛徽章:
10
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:4115-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:5615-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:47每日论坛发贴之星
日期:2016-08-09 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-04 06:20:0015-16赛季CBA联赛之佛山
日期:2021-02-26 09:33:41
5 [报告]
发表于 2017-06-15 21:53 |只看该作者
cat file|awk -F'key:' '{if(NF>2){a[NR]=$0}if(NF<3){a[NR-1]=a[NR-1]" "$0}}END{for(i=1;i<=NR;i++){if(a)print a}}'
是这个意思?

root@lp:~/lp# cat file|awk -F'key:' '{if(NF>2){a[NR]=$0}if(NF<3){a[NR-1]=a[NR-1]" "$0}}END{for(i=1;i<=NR;i++){if(a)print a}}'
key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63 key:web02,doc_count:54
key:v.xxx.cn,doc_count:97,key:web02,doc_count:64 key:magpie,doc_count:33
key:api.xiaopeng2.xxx.com,doc_count:49,key:web02,doc_count:26 key:magpie,doc_count:23
key:dls.xxx.cn,doc_count:23,key:hippo,doc_count:23
keyx.cn,doc_count:13,key:magpie,doc_count:10 key:web02,doc_count:3
key:pay.xxx.cn,doc_count:11,key:magpie,doc_count:7 key:web02,doc_count:4
key:api.wap.xxx.com,doc_count:1,key:web02,doc_count:1
key:e.xxx.cn,doc_count:3,key:magpie,doc_count:2 key:web02,doc_count:1

论坛徽章:
0
6 [报告]
发表于 2017-08-23 16:41 |只看该作者
本帖最后由 DianWen119 于 2017-08-23 16:42 编辑

楼上2位。。。好牛逼。。
分不够。。晕死。只能评一个。。。

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2017-08-23 17:26 |只看该作者
本帖最后由 moperyblue 于 2017-09-06 13:16 编辑
  1. sed ':a;N;/\nkey:.*key:/!{s/\n/ /;ta};P;D' urfile
复制代码

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
8 [报告]
发表于 2017-09-06 12:10 |只看该作者
本帖最后由 wh7211 于 2017-09-06 14:36 编辑

回复 1# DianWen119


  1. sed -nr 'h;:a;n;/key.*key/{H;ba};H;g;s/(.*)\n([^\n]*$)/\1,\2/p' file
复制代码
  1. sed -nr 'h;N;/\nkey.*key/{P;D};s/\n/,/p' file
复制代码
  1. awk '{if(/.*key.*key.*/){a=a?a"\n"$0:$0}else{a=a","$0;print a;a=""}}' file
复制代码
  1. awk '/.*key.*key.*/{a=a?a"\n"$0:$0;next}{a=a","$0;print a;a=""}' file
复制代码

论坛徽章:
8
CU十四周年纪念徽章
日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控
日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海
日期:2018-05-21 10:46:10技术图书徽章
日期:2018-09-03 13:54:18技术图书徽章
日期:2018-09-03 13:54:2815-16赛季CBA联赛之四川
日期:2020-10-15 09:21:4720周年集字徽章-20	
日期:2020-10-28 13:53:0220周年集字徽章-庆
日期:2020-10-28 14:09:12
9 [报告]
发表于 2017-09-06 14:33 |只看该作者
本帖最后由 龙牙地主天 于 2017-09-06 14:41 编辑
  1. awk -F 'key:' '{if(NF>2) a=a?a"\n"$0:$0 ; else a=a"---"$0}END{print a}' urfile
复制代码


  1. [root@120 ~]# awk -F 'key:' '{if(NF>2) a=a?a"\n"$0:$0 ; else a=a"---"$0}END{print a}' a
  2. key:tg.xxx.cn,doc_count:117,key:magpie,doc_count:63---key:web02,doc_count:54
  3. key:v.xxx.cn,doc_count:97,key:web02,doc_count:64---key:magpie,doc_count:33
  4. key:api.xiaopeng2.xxx.com,doc_count:49,key:web02,doc_count:26---key:magpie,doc_count:23
  5. key:dls.xxx.cn,doc_count:23,key:hippo,doc_count:23
  6. key:xxx.cn,doc_count:13,key:magpie,doc_count:10---key:web02,doc_count:3
  7. key:pay.xxx.cn,doc_count:11,key:magpie,doc_count:7---key:web02,doc_count:4
  8. key:api.wap.xxx.com,doc_count:1,key:web02,doc_count:1
  9. key:e.xxx.cn,doc_count:3,key:magpie,doc_count:2---key:web02,doc_count:1
  10. [root@120 ~]#
复制代码


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP