免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2856 | 回复: 8
打印 上一主题 下一主题

[文本处理] awk分隔符在数据中存在,怎么解析? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-12-23 21:15 |只看该作者 |倒序浏览
a="test1 test2 test3"  b="abcd"  c=12345  d="a=b m/n"
a="MORE /?t=y&k=t" b="-" c=200 d="m t a"


文件中分隔符是空格;

但是数据中引号内还存在空格,包含在双引号内,空格位置不固定。

希望能把等号后面的数据解析出来(字符型的双引号括起来,整形的没有引号)

双引号内有空格的不进行字段分隔

最终结果为竖线分隔:

test1 test2 test3|abcd|12345|a=b m/n
MORE /?t=y&k=t|-|200|m t a

大神帮忙看看啊!!

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
2 [报告]
发表于 2013-12-23 22:41 |只看该作者
本帖最后由 yinyuemi 于 2013-12-24 07:02 编辑

回复 1# easyjoy2013

  1. awk '{for(i=1;i<=NF;i++){if(gsub(/"/,"&",$i) == 1){t=$i;for(j=i+1;j<=NF;j++){t=t FS $j;if($j~/"/){gsub(/"/,"",t);sub(/[^=]+=/,"",t);x=x"|"t;i=j;j=NF+1}}}else{gsub(/"/,"",$i);sub(/[^=]+=/,"",$i);x=x"|"$i}};print gensub(/\|/,"",1,x);x=""}'

复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
3 [报告]
发表于 2013-12-23 23:28 |只看该作者
  1. [root@localhost ~]# sed -r 's/"//g;s/^[a-z]+=//;s/ +[a-z]+=/|/g' i
  2. test1 test2 test3|abcd|12345|a=b m/n
  3. MORE /?t=y&k=t|-|200|m t a
  4. [root@localhost ~]#
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
4 [报告]
发表于 2013-12-24 09:34 |只看该作者
本帖最后由 jason680 于 2013-12-24 09:35 编辑

回复 1# easyjoy2013

$ cat FILE
a="test1 test2 test3"  b="abcd"  c=12345  d="a=b m/n"
a="MORE /?t=y&k=t" b="-" c=200 d="m t a"
A=123 B=456 a="test1 test2 test3"  b="abcd"  C=111 c=12345  d="a=b m/n"

$ awk -F'"' '{s="";for(n=0;n++<NF;){if(n%2==0){printf("%s",$n)}else{gsub(/[A-Za-z]+=/,"",$n);gsub(/ +/,"|",$n);printf("%s",$n)}}print""}' FILE
test1 test2 test3|abcd|12345|a=b m/n
MORE /?t=y&k=t|-|200|m t a
123|456|test1 test2 test3|abcd|111|12345|a=b m/n

   

论坛徽章:
0
5 [报告]
发表于 2013-12-24 09:43 |只看该作者
多谢大神,好好学习下!

另外想问下,如果我文件文件都几百M,如果这样处理,效率是不是会很低?

回复 2# yinyuemi


   

论坛徽章:
0
6 [报告]
发表于 2013-12-24 09:43 |只看该作者
大神已经帮忙好多次了,多谢多谢!回复 3# yestreenstars


   

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
7 [报告]
发表于 2013-12-24 10:21 |只看该作者
回复 5# easyjoy2013


    你测试下,把结果贴下看看

论坛徽章:
1
射手座
日期:2014-03-10 14:24:52
8 [报告]
发表于 2013-12-24 17:34 |只看该作者
yinyuemi 发表于 2013-12-23 22:41
回复 1# easyjoy2013
各种奇葩问题的解决方案之神啊!厉害!

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
9 [报告]
发表于 2013-12-25 01:08 |只看该作者
可以试试python:
  1. [root@source ~]# cat a
  2. a="test1 test2 test3"  b="abcd"  c=12345  d="a=b m/n"
  3. a="MORE /?t=y&k=t" b="-" c=200 d="m t a"
  4. [root@source ~]# ./b.py
  5. test1 test2 test3|abcd|12345|a=b m/n
  6. MORE /?t=y&k=t|-|200|m t a
  7. [root@source ~]# cat b.py
  8. #!/usr/bin/env python
  9. import re
  10. f=open(r'/root/a')
  11. for line in f.readlines():
  12.     k=re.findall(r'(?<==").*?(?=")|(?<==)\d+',line)
  13.     print '|'.join(k)
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP