忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 2183 | 回复: 15

[文本处理] awk替换文件中单引号内容超过50个字符 [复制链接]

论坛徽章:
0
发表于 2018-05-31 10:11 |显示全部楼层
现在有个文件,内容中是sql的插入语句,现在需要将单引号中内容长度超过50个字符的,直接替换成空;

文件内容大概是这样子:
','1','1',NULL,'200000152000779',NULL,0,1,0,2,0,0,0,0,0,0,0,0,0,2,0,0,0,0,0,0,1,0,0,0,0,0,0,0,0
,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,'通过本项目的实施,测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试。\n',0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/','1、主要研究内容:\n测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试测试。\n2、拟解决的关键技术问题:\n(
1)载波聚合智能终端载波聚合硬件设计与实现问题;\n(2)测试测试测试测试测试测试测试测试测试测试测试;\n
。\n','',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0
0','yyyy-MM-dd HH24:MI:SS'),to_date('2008-06-05 00:00:00','yyyy-MM-dd HH24:MI:SS'),100.00,'一次性拨款','壹佰万元整',NULL,



然后我用
cat test.txt |awk -F "[,\047\047,]" '{for(i=1;i<=NF;i++){if(length($i)>80){gsub("/[,\047\047,]/","''",i)}}print;}'
或者
cat test.txt |awk -F "[,\047\047,]" '{for(i=1;i<=NF;i++){if(length($i)>80){gsub($i,"''",1)}}print;}'

发现都没有替换;有哪位大神知道怎么处理吗。

论坛徽章:
0
发表于 2018-05-31 10:37 |显示全部楼层
有没有大神知道怎么处理,用别的指令也行,关键是要能行,原本想用sed处理,但是发现没法判断长度!!

论坛徽章:
6
CU十四周年纪念徽章
日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控
日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海
日期:2018-05-21 10:46:10技术图书徽章
日期:2018-09-03 13:48:54技术图书徽章
日期:2018-09-03 13:54:18技术图书徽章
日期:2018-09-03 13:54:28
发表于 2018-05-31 13:47 |显示全部楼层
  1. awk -F',' '{for(i=1;i<=NF;i++) if(length($i)>50) sub(".*","",$i)}1' OFS="," test.txt
复制代码

论坛徽章:
3
15-16赛季CBA联赛之青岛
日期:2018-07-09 14:17:2815-16赛季CBA联赛之八一
日期:2018-08-06 15:30:0515-16赛季CBA联赛之广东
日期:2018-08-09 09:11:21
发表于 2018-05-31 16:22 |显示全部楼层
本帖最后由 christmas1102 于 2018-06-04 11:00 编辑

这论坛的审核速度真是蛋疼,帖都沉了告诉我审核通过

论坛徽章:
0
发表于 2018-05-31 16:30 |显示全部楼层
厉害,但是我发现这个有个问题,就是他换行的话帮我处理了,但是正常我是不理他换行符的;就是替换后的结果中会有空行的地方;

论坛徽章:
0
发表于 2018-05-31 16:35 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,并没有整个替换,例如他替换后的结果变成:,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
0
发表于 2018-05-31 16:37 |显示全部楼层
回复 3# 龙牙地主天

这样子确实解决了,但是会有个问题,就是如果是多行的话,那几行都变成空串了,正常应该是整个''之间的内容被替换掉,替换后的结果就像这样子:,0,0,0,0,NULL,0,0,0,0,0,NULL,0,'',8000.00,500.00,
,0.00,0.00,0.00,0.00,0.00,100.00,300.00,0.00,0.00
,0.00,'/',




,'',NULL,400.00,0.00,0,0,0,to_date('2017-01-01 00:00
:00','yyyy-MM-dd HH24:MI:SS'),to_date('2018-12-31 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2007-03-11 00:00:00','yyyy-MM-dd HH24:MI:SS'),to_date('2008-03-28 00:00:0


有什么办法可以处理下

论坛徽章:
3
15-16赛季CBA联赛之青岛
日期:2018-07-09 14:17:2815-16赛季CBA联赛之八一
日期:2018-08-06 15:30:0515-16赛季CBA联赛之广东
日期:2018-08-09 09:11:21
发表于 2018-05-31 16:45 |显示全部楼层
  1. awk 'BEGIN{RS=ORS="\54"}{$0=length($0)<52?$0:"\47 \47"}{sub("\n","")}1' FILE
复制代码


刚才发的东西为啥没了?
您需要登录后才可以回帖 登录 | 注册

本版积分规则

第67期:Neo4j图数据库平台架构最佳实践
【微学堂】10月18日 20:00(周四)

当下,数据的规模和类型每时每刻都在呈几何级数的增长,仅能够管理大量的数据是不够的,关键是能从海量数据中发掘出有用的信息,特别是数据之间的关联,能高效存储和处理数据之间关联的新型数据库为图数据库。 本讲座将介绍Neo4j图数据库的基本概念、设计特点、架构和经典应用场景实战分享。

进入课堂>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP