免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › awk处理xml段落问题
最近访问板块 发新帖
查看: 2691 | 回复: 9
打印 上一主题 下一主题

[文本处理] awk处理xml段落问题 [复制链接]

gfan2

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2018-04-16 10:12 |只看该作者 |倒序浏览
本帖最后由 gfan2 于 2018-04-16 16:19 编辑

请教，谢谢。
使用awk根据外部条件处理xml段落， 如 xml文件中name里能匹配上外部条件的一行，则删除该Name的<matchine到<matchine>段落

外部条件文件内容cat T1
room-177
room-178
room-348
...
...

T2.xml文件：
<?xml version="1.0"?>
<system>
   <machine class="TESTGROUP361" Name="group/room-178/class-730" operation="create" >
         <server name="log_collect">
            <processes>1</processes>
            <threads>1</threads>
            <options>-t1 </options>
            <desc/>
         </server>
         <server name="dcs_fresh">
            <processes>1</processes>
            <threads>1</threads>
            <options>-a192.168.1.1</options>
            <desc/>
         </server>
   </machine>
   <machine class="TESTGROUP472" Name="group/room-349/class-970" operation="create" >name="web02">
         <server name="log_collect">
            <processes>2</processes>
            <threads>2</threads>
            <options>-t2 </options>
            <desc/>
         </server>
         <server name="dcs_fresh">
            <processes>2</processes>
            <threads>2</threads>
            <options>-a192.168.1.2</options>
            <desc/>
         </server>
   </machine>
   <machine class="TESTGROUP971" Name="group/room-286/class-340" operation="create" >name="web02">
         <server name="log_collect">
            <processes>2</processes>
            <threads>2</threads>
            <options>-t2 </options>
            <desc/>
         </server>
         <server name="dcs_fresh">
            <processes>3</processes>
            <threads>3</threads>
            <options>-a192.168.1.3</options>
            <desc/>
         </server>
   </machine>  
....
....
....
....
</system>
ozquii

论坛徽章:
0
2楼 [报告]
发表于 2018-04-16 11:01 |只看该作者
受教了，让我先翻一下
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gfan2

论坛徽章:
0
3楼 [报告]
发表于 2018-04-16 16:20 来自手机 |只看该作者
哪位大师显身指教下，命令讲解扶贫也很重要，多谢了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
4楼 [报告]
发表于 2018-04-16 19:00 |只看该作者
回复 1# gfan2


  1. awk 'FILENAME==ARGV[1]{a[$0]++;next}/<machine/{split($0,t,"/")}!a[t[2]]' T1 T2.xml
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gfan2

论坛徽章:
0
5楼 [报告]
发表于 2018-04-17 22:26 |只看该作者
wh7211 发表于 2018-04-16 19:00
回复 1# gfan2

请问这个都没有去判断段落结束字符串，不对吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gfan2

论坛徽章:
0
6楼 [报告]
发表于 2018-04-18 07:22 |只看该作者
回复 4# wh7211

试过了，绝大部分匹配条件的段落都可以删掉，但下面的这种情况没有删掉，应该再怎么改进。

   <machine class="TESTGROUP361" Name="group/room-178" operation="create" >
          <server name="log_collect">
             <processes>1</processes>
             <threads>1</threads>
             <options>-t1 </options>
             <desc/>
          </server>
          <server name="dcs_fresh">
             <processes>1</processes>
             <threads>1</threads>
             <options>-a192.168.0.1</options>
             <desc/>
          </server>
    </machine>

另外请帮忙解释命令实现的原理， 多谢了， awk 'FILENAME==ARGV[1]{a[$0]++;next}/<machine/{split($0,t,"/")}!a[t[2]]' T1 T2.xml

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
7楼 [报告]
发表于 2018-04-18 10:43 |只看该作者
本帖最后由 wh7211 于 2018-04-18 11:27 编辑

回复 6# gfan2


试过了，绝大部分匹配条件的段落都可以删掉，但下面的这种情况没有删掉，应该再怎么改进。

   <machine class="TESTGROUP361" Name="group/room-178" operation="create" >

没有删除是由于“T1中的字符串在T2.xml中的位置没有规律”导致的，比如，1楼的T2.xml中字符串是『/room-178/』，而6楼的T2.xml中字符串是『/room-178』

  1. T1中的字符串在T2.xml中的位置没有规律，使用下面代码：
  2. cat T1
  3. room-177
  4. room-178
  5. room-348

  7. cat T2.xml
  8. <?xml version="1.0"?>
  9. <system>
  10.    <machine class="TESTGROUP361" Name="group/room-178" operation="create" >
  11.          <server name="log_collect">
  12.             <processes>1</processes>
  13.             <threads>1</threads>
  14.             <options>-t1 </options>
  15.             <desc/>
  16.          </server>
  17.          <server name="dcs_fresh">
  18.             <processes>1</processes>
  19.             <threads>1</threads>
  20.             <options>-a192.168.0.1</options>
  21.             <desc/>
  22.          </server>
  23.    </machine>
  24.    <machine class="TESTGROUP361" Name="group/room-178/class-730" operation="create" >
  25.          <server name="log_collect">
  26.             <processes>1</processes>
  27.             <threads>1</threads>
  28.             <options>-t1 </options>
  29.             <desc/>
  30.          </server>
  31.          <server name="dcs_fresh">
  32.             <processes>1</processes>
  33.             <threads>1</threads>
  34.             <options>-a192.168.1.1</options>
  35.             <desc/>
  36.          </server>
  37.    </machine>
  38.    <machine class="TESTGROUP472" Name="group/room-349/class-970" operation="create" >name="web02">
  39.          <server name="log_collect">
  40.             <processes>2</processes>
  41.             <threads>2</threads>
  42.             <options>-t2 </options>
  43.             <desc/>
  44.          </server>
  45.          <server name="dcs_fresh">
  46.             <processes>2</processes>
  47.             <threads>2</threads>
  48.             <options>-a192.168.1.2</options>
  49.             <desc/>
  50.          </server>
  51.    </machine>
  52.    <machine class="TESTGROUP971" Name="group/room-286/class-340" operation="create" >name="web02">
  53.          <server name="log_collect">
  54.             <processes>2</processes>
  55.             <threads>2</threads>
  56.             <options>-t2 </options>
  57.             <desc/>
  58.          </server>
  59.          <server name="dcs_fresh">
  60.             <processes>3</processes>
  61.             <threads>3</threads>
  62.             <options>-a192.168.1.3</options>
  63.             <desc/>
  64.          </server>
  65.    </machine>  
  66.    <machine class="TESTGROUP361" Name="group/a/b/c/room-178/d/e/f" operation="create" >
  67.          <server name="log_collect">
  68.             <processes>1</processes>
  69.             <threads>1</threads>
  70.             <options>-t1 </options>
  71.             <desc/>
  72.          </server>
  73.          <server name="dcs_fresh">
  74.             <processes>1</processes>
  75.             <threads>1</threads>
  76.             <options>-a192.168.0.1</options>
  77.             <desc/>
  78.          </server>
  79.    </machine>
  80. ....
  81. ....
  82. ....
  83. ....
  84. </system>

  86. awk 'FILENAME==ARGV[1]{a[$0]++;next}/<machine/{for(i in a){if($0~i){f=1}}}!f;/<\/machine/{f=0}' T1 T2.xml
  87. <?xml version="1.0"?>
  88. <system>
  89.    <machine class="TESTGROUP472" Name="group/room-349/class-970" operation="create" >name="web02">
  90.          <server name="log_collect">
  91.             <processes>2</processes>
  92.             <threads>2</threads>
  93.             <options>-t2 </options>
  94.             <desc/>
  95.          </server>
  96.          <server name="dcs_fresh">
  97.             <processes>2</processes>
  98.             <threads>2</threads>
  99.             <options>-a192.168.1.2</options>
  100.             <desc/>
  101.          </server>
  102.    </machine>
  103.    <machine class="TESTGROUP971" Name="group/room-286/class-340" operation="create" >name="web02">
  104.          <server name="log_collect">
  105.             <processes>2</processes>
  106.             <threads>2</threads>
  107.             <options>-t2 </options>
  108.             <desc/>
  109.          </server>
  110.          <server name="dcs_fresh">
  111.             <processes>3</processes>
  112.             <threads>3</threads>
  113.             <options>-a192.168.1.3</options>
  114.             <desc/>
  115.          </server>
  116.    </machine>  
  117. ....
  118. ....
  119. ....
  120. ....
  121. </system>
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
8楼 [报告]
发表于 2018-04-18 10:46 |只看该作者
本帖最后由 wh7211 于 2018-04-18 11:36 编辑

回复 6# gfan2


另外请帮忙解释命令实现的原理
  1. awk 'FILENAME==ARGV[1]{a[$0]++;next}/<machine/{for(i in a){if($0~i){f=1}}}!f;/<\/machine/{f=0}' T1 T2.xml

  3. 『FILENAME==ARGV[1]{a[$0]++;next}』：处理第1个文件T1，创建数组a
  4. 『/<machine/{for(i in a){if($0~i){f=1}}}』：处理第2个文件T2.xml，只要数组a的成员有1个出现在『<machine』这一行则f为1
  5. 『!f』：处理第2个文件T2.xml，如果f为1则不打印（即删除），如果f为0则打印
  6. 『/<\/machine/{f=0}』：处理第2个文件T2.xml，如果当前行匹配『</machine』则f为0
复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
9楼 [报告]
发表于 2018-04-18 14:37 |只看该作者
回复 1# gfan2

$ awk 'FNR==NR{a[$1]=1;next}/<machine/{D=0;for(n in a)if($0~a[n]){D=1;next}}!D{print}/<\/machine/{D=0}' T1 T2.xml
<?xml version="1.0"?>
<system>
   <machine class="TESTGROUP472" Name="group/room-349/class-970" operation="create" >name="web02">
         <server name="log_collect">
            <processes>2</processes>
            <threads>2</threads>
            <options>-t2 </options>
            <desc/>
         </server>
         <server name="dcs_fresh">
            <processes>2</processes>
            <threads>2</threads>
            <options>-a192.168.1.2</options>
            <desc/>
         </server>
   </machine>
....
....
....
....
</system>

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gfan2

论坛徽章:
0
10楼 [报告]
发表于 2018-04-18 16:29 |只看该作者
多谢各位指教，命令测试结果已满足需求，再次感谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP