免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 文本处理，awk or sed
123下一页
最近访问板块 发新帖
查看: 3562 | 回复: 25
打印 上一主题 下一主题

[文本处理] 文本处理，awk or sed [复制链接]

莫侠007

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-11-17 18:07 |只看该作者 |倒序浏览
原文如下：
[2005/02/18 13:44:23 B0099S05] SELECT a,
|| b,
|| from dual;
[2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T
|| SET T.CDELDATE = '20050216'
[2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;
aaaaaaaaaaa
bbbbbbbbbb
PL/SQL over!。


处理后：
要求:
1:将文件中所有含有B0099S05的行,的下一行含有||的去掉||合成一行,生成另一个
文件; 即新文件应该如下:
[2005/02/18 13:44:23 B0099S05] SELECT a, b, from dual;
[2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T SET T.CDELDATE = '20050216'
[2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;
zxy877298415

论坛徽章:
30
申猴 日期:2014-04-10 09:43:532015年亚洲杯纪念徽章 日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔 日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔 日期:2015-06-30 15:22:572015亚冠之大阪钢巴 日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔 日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆 日期:2015-12-25 10:18:45黑曼巴 日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西 日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京 日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一 日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林 日期:2017-09-04 12:14:43
2楼 [报告]
发表于 2014-11-17 18:56 |只看该作者
回复 1# 莫侠007
awk '{if($0~/^\[/) {if (NR>1) print "";printf gensub(/[|]/,"","g",$0)} else if($0~/^\|/) {printf  gensub(/[|]/,"","g",$0)}}END{print ""}' FILE


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
769
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
3楼 [报告]
发表于 2014-11-17 19:05 |只看该作者
回复 1# 莫侠007
  1. sed ':1;/B0099S05/{:2;N;s/\n||//;t2;b1}' i
  2. [2005/02/18 13:44:23 B0099S05] SELECT a, b, from dual;
  3. [2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T SET T.CDELDATE = '20050216'
  4. [2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;
  5. aaaaaaaaaaa
  6. bbbbbbbbbb
  7. PL/SQL over!.
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
4楼 [报告]
发表于 2014-11-17 19:48 |只看该作者
回复 1# 莫侠007

$ awk '/^\[/{printf N $0;N="\n"}/^\|\|/{printf $0}END{print""}' FILE
[2005/02/18 13:44:23 B0099S05] SELECT a,|| b,|| from dual;
[2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T|| SET T.CDELDATE = '20050216'
[2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
莫侠007

论坛徽章:
0
5楼 [报告]
发表于 2014-11-17 20:26 |只看该作者
@zxy877298415 @jason680 @Herowinter
awk的写法都是匹配以^[ 开头就换行
而sed的写法，看得不是那么直观，我看看sed的高级用法先
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
莫侠007

论坛徽章:
0
6楼 [报告]
发表于 2014-11-17 20:50 |只看该作者
@Herowinter
http://www.groad.net/bbs/thread-6845-1-1.html
再一次谢谢你 看明白 你的写法了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fangang001

论坛徽章:
0
7楼 [报告]
发表于 2014-11-17 22:07 |只看该作者
回复 4# jason680

awk '/^\[/{printf N $0;N="\n"}/^\|\|/{printf $0}END{print""}'  china.data | sed -e 's/||//g'


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
769
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
8楼 [报告]
发表于 2014-11-17 22:59 |只看该作者
回复 6# 莫侠007


这么快就能看明白，佩服，我刚学sed的时候这种代码要想好久才能明白。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
9楼 [报告]
发表于 2014-11-17 23:01 |只看该作者
回复 7# fangang001

Thank you for your notice

$ awk '/^\[/{printf N $0;N="\n"}sub(/^\|\|/,""){printf $0}END{print""}' FILE
[2005/02/18 13:44:23 B0099S05] SELECT a, b, from dual;
[2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T SET T.CDELDATE = '20050216'
[2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chengchow

论坛徽章:
24
申猴 日期:2014-10-10 15:56:39射手座 日期:2014-10-10 15:57:18黑曼巴 日期:2018-05-14 11:05:122016科比退役纪念章 日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控 日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏 日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海 日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山 日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山 日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西 日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山 日期:2020-05-08 09:03:54
10楼 [报告]
发表于 2014-11-18 09:02 |只看该作者
  1. [root@pmaster tmp]# sed -r '1h;1!H;$!d;${g;s/\n\|\|//g}' 1
  2. [2005/02/18 13:44:23 B0099S05] SELECT a, b, from dual;
  3. [2005/02/18 13:44:23 B0099S05] UPDATE MATERIAL T SET T.CDELDATE = '20050216'
  4. [2005/02/18 13:44:23 B0099S05] DELETE * from MATERIAL;
  5. aaaaaaaaaaa
  6. bbbbbbbbbb
  7. PL/SQL over!.
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP