免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 4056 | 回复: 15

[文本处理] awk替换文件中单引号内容超过50个字符 [复制链接]

论坛徽章:
0
发表于 2018-05-31 10:11 |显示全部楼层
现在有个文件,内容中是sql的插入语句,现在需要将单引号中内容长度超过50个字符的,直接替换成空;

文件内容大概是这样子:
','1','1',NULL,'200000152000779',NULL,0,1,0,2,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0
,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,'通过本项目的实施,测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试。\n',0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/','1、主要研究内容:\n测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试。\n2、拟解决的关键技术问题:\n(
1)载波聚合智能终端载波聚合硬件设计与实现问题;\n(2)测试测试测试测试测试测试测试测试测试测试测试;\n
。\n','',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0
0','yyyy-MM-dd HH24:MI:SS'),to_date('2008-06-05 00:00:00','yyyy-MM-dd HH24:MI:SS'),100.00,'一次性拨款','壹佰万元整',NULL,



然后我用
cat test.txt |awk -F "[,\047\047,]" '{for(i=1;i<=NF;i++){if(length($i)>80){gsub("/[,\047\047,]/","''",i)}}print;}'
或者
cat test.txt |awk -F "[,\047\047,]" '{for(i=1;i<=NF;i++){if(length($i)>80){gsub($i,"''",1)}}print;}'

发现都没有替换;有哪位大神知道怎么处理吗。

论坛徽章:
0
发表于 2018-05-31 10:37 |显示全部楼层
有没有大神知道怎么处理,用别的指令也行,关键是要能行,原本想用sed处理,但是发现没法判断长度!!

论坛徽章:
8
CU十四周年纪念徽章
日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控
日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海
日期:2018-05-21 10:46:10技术图书徽章
日期:2018-09-03 13:54:18技术图书徽章
日期:2018-09-03 13:54:2815-16赛季CBA联赛之四川
日期:2020-10-15 09:21:4720周年集字徽章-20	
日期:2020-10-28 13:53:0220周年集字徽章-庆
日期:2020-10-28 14:09:12
发表于 2018-05-31 13:47 |显示全部楼层
  1. awk -F',' '{for(i=1;i<=NF;i++) if(length($i)>50) sub(".*","",$i)}1' OFS="," test.txt
复制代码

论坛徽章:
4
15-16赛季CBA联赛之青岛
日期:2018-07-09 14:17:2815-16赛季CBA联赛之八一
日期:2018-08-06 15:30:0515-16赛季CBA联赛之广东
日期:2018-08-09 09:11:2115-16赛季CBA联赛之佛山
日期:2019-02-14 09:26:31
发表于 2018-05-31 16:22 |显示全部楼层
本帖最后由 christmas1102 于 2018-06-04 11:00 编辑

这论坛的审核速度真是蛋疼,帖都沉了告诉我审核通过

论坛徽章:
0
发表于 2018-05-31 16:30 |显示全部楼层
厉害,但是我发现这个有个问题,就是他换行的话帮我处理了,但是正常我是不理他换行符的;就是替换后的结果中会有空行的地方;

论坛徽章:
0
发表于 2018-05-31 16:35 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,并没有整个替换,例如他替换后的结果变成:,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
4
15-16赛季CBA联赛之青岛
日期:2018-07-09 14:17:2815-16赛季CBA联赛之八一
日期:2018-08-06 15:30:0515-16赛季CBA联赛之广东
日期:2018-08-09 09:11:2115-16赛季CBA联赛之佛山
日期:2019-02-14 09:26:31
发表于 2018-05-31 16:45 |显示全部楼层
  1. awk 'BEGIN{RS=ORS="\54"}{$0=length($0)<52?$0:"\47 \47"}{sub("\n","")}1' FILE
复制代码


刚才发的东西为啥没了?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP