免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 请教多行匹配问题
12
最近访问板块 发新帖
楼主: skylove
打印 上一主题 下一主题

请教多行匹配问题  关闭 [复制链接]

寂寞烈火

论坛徽章:
1
荣誉会员 日期:2011-11-23 16:44:17
11楼 [报告]
发表于 2004-12-06 16:32 |只看该作者

请教多行匹配问题

对html文件到处理,通常用perl来处理感觉会更好
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lightspeed

论坛徽章:
0
12楼 [报告]
发表于 2004-12-07 05:36 |只看该作者

请教多行匹配问题

试试这个.

根据你提供的文件, 有以下假设:

1. 每行只有一个 <table> 或 </table>
2. <table> 可以嵌套.


  2. # cat ./a.html
  3. <html><head><title> Test </title></head><body>
  4. <p> Other line 1 </p>
  5. <table><tr><td>
  6. <table><tr><td>
  7. <p> table with 3 lines </p>
  8. </td></tr></table>
  9. </td></tr></table>
  10. <p> Other line 2 </p>
  11. <table><tr><td>
  12. <table><tr><td>
  13. <p> table with 7 lines </p>
  14. <p> table with 7 lines </p>
  15. <p> table with 7 lines </p>
  16. <p> table with 7 lines </p>
  17. <p> table with 7 lines </p>
  18. </td></tr></table>
  19. </td></tr></table>
  20. <p> Other line 3 </p>
  21. <table><tr><td>
  22. <table><tr><td>
  23. <p> table with lines 9 </p>
  24. <p> table with lines 9 </p>
  25. <p> table with lines 9 </p>
  26. <p> table with lines 9 </p>
  27. <p> table with lines 9 </p>
  28. <p> table with lines 9 </p>
  29. <p> table with lines 9 </p>
  30. </td></tr></table>
  31. </td></tr></table>
  32. <p> Other line 4 </p>
  33. </body></html>         

复制代码


  2. # cat ./1
  3. #!/bin/awk -f
  4. {
  5.   if (match($0,/<table>|<\/table>/)) {
  6.     if (substr($0,RSTART+1,1)=="t") {
  7.         i++
  8.         if (n==0 )
  9.                 n=NR
  10.     }
  11.     else
  12.         i--

  14.     m=NR - n - 1

  16.     if (i==0 && n != 0) {
  17.         if (m==3 || m==7) {
  18.           if (s=="")
  19.                 s=n","NR"d"
  20.           else
  21.                 s=s";"n","NR"d"
  22.         }
  23.         n=0
  24.     }
  25.    }
  26. }

  28. END {
  29.   if (i != 0) {
  30.         print "Format Error !!"
  31.         exit
  32.   }
  33.   if ( s != "" )
  34.         system("sed \""s"\" "ARGV[1])
  35.   else
  36.         print "No matches found !!"

  38. }                           

复制代码


运行:

# ./1 a.html
<html><head><title> Test </title></head><body>
<p> Other line 1 </p>
<p> Other line 2 </p>
<p> Other line 3 </p>
<table><tr><td>
<table><tr><td>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
<p> table with lines 9 </p>
</td></tr></table>
</td></tr></table>
<p> Other line 4 </p>
</body></html>
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yoof

论坛徽章:
0
13楼 [报告]
发表于 2004-12-07 12:50 |只看该作者

请教多行匹配问题

lightspeed      
你的代码给出注释如何？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
14楼 [报告]
发表于 2004-12-08 16:47 |只看该作者

请教多行匹配问题

我等一下试一下,谢谢各位朋友的解答
如果成功了,我把代码贴出来share
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
15楼 [报告]
发表于 2004-12-09 00:41 |只看该作者

请教多行匹配问题

的确可用...太强了...!!

而且事实上...那个匹配比斑竹给的例子容易,因为中间行的内容都是有缩进的...因此在match那里,和计算行数那里都更简单一些...

斑竹你太强了...!!!

我尝试着看您的程序,但是依然有点困惑,您看看我理解错误的地方,烦劳您指正


  2. # cat ./1
  3. #!/bin/awk -f
  4. {
  5.   if (match($0,/<table>|<\/table>/)) {  #这里表示匹配<table>或</table>
  6.     if (substr($0,RSTART+1,1)=="t") { #这里的RSTART的初始值是??这一句似乎是判断某个字符为t..???
  7.         i++                      #开始计算行数
  8.         if (n==0 )
  9.                 n=NR   #如果一开始没有行号,则用这行作为行号
  10.     }
  11.     else
  12.         i--                       

  14.     m=NR - n - 1  #中间的行数

  16.     if (i==0 && n != 0) { #如果行数为0或标记号不为0
  17.         if (m==3 || m==7) {  #当行数为3或7时候...
  18.           if (s=="")  #这个s是??
  19.                 s=n","NR"d"  #给s赋予初值,没看明白
  20.           else
  21.                 s=s";"n","NR"d"  #这句...也没看明白,剩下的n=0这些也不懂思路了....
  22.         }
  23.         n=0
  24.     }
  25.    }
  26. }

  28. END {
  29.   if (i != 0) {
  30.         print "Format Error !!"
  31.         exit
  32.   }
  33.   if ( s != "" )
  34.         system("sed \""s"\" "ARGV[1])
  35.   else
  36.         print "No matches found !!"

  38. }
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lightspeed

论坛徽章:
0
16楼 [报告]
发表于 2004-12-09 01:36 |只看该作者

请教多行匹配问题



  3. # cat ./1
  4. #!/bin/awk -f
  5. {
  6.   if (match($0,/<table>|<\/table>/)) {  #这里表示匹配<table>或</table>
  7.     if (substr($0,RSTART+1,1)=="t") {

  9. # 当上句　match 匹配成功会自动设置变量　RSTART，　含义为匹配字符串第一个字符在整行中的位置．
  10. # 因此，　substr($0,RSTART+1,1)　是取匹配字符串　<table> 　或　</table>
  11. # 的第二个字符．　如果是 t, 当然说明匹配的是　<table> 了

  13.         i++                      #　由于匹配了　<table> ,　表嵌套深度加　1
  14.         if (n==0 )
  15.                 n=NR   # 纪录一个表结构最外层开始的行号
  16.     }
  17.     else
  18.         i--     #      匹配了　</table> ,　表嵌套深度减　1            

  20.     m=NR - n - 1  #中间的行数，　这句实际应放在下面　if(m=... 语句之前

  22.     if (i==0 && n != 0) { #　嵌套深度为0，但table开始的行号不为0, 说明刚刚完成一个表结构的扫描．
  23. #　当然,  如果　i==0 && n==0 则说明没有遇到表结构

  25.         if (m==3 || m==7) {  #当表包含行数为3或7时候，　符合删除条件

  27. # s 是传给　END 中　sed 的删除语句，　如　s="2,6d;8,16d"

  29.           if (s=="")  #    遇到第一个表时赋值，如　s="2,6d"
  30.                 s=n","NR"d"  
  31.           else
  32.                 s=s";"n","NR"d"  # 后面的表，需加";" ,  如　s=s";8,16d"
  33.         }
  34.         n=0  # 处理完一个表结构后，　表开始行数复零
  35.     }
  36.    }
  37. }

  39. END {
  40.   if (i != 0) {　# 文件中的　<table> 和　</table> 总数不等，因此语法错误．
  41.         print "Format Error !!"
  42.         exit
  43.   }
  44.   if ( s != "" )　
  45.         system("sed \""s"\" "ARGV[1])　# 调用　sed 删除相应的行
  46.   else
  47.         print "No matches found !!"

  49. }
复制代码


由于　html  是一种自由格式，　因此每一行可能有多个　<table> </table>
那样的话，　此程序就不灵了．　你可以自己写一个这种情况的，比较繁琐，　相信
你的 awk 水平一定会有个大的提高．

此外，　 如果　<table> </table>  出现在　<!--  --> 中则失去 tag 含义．
总之，　要想符合各种条件，　几乎是不可能的．
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
17楼 [报告]
发表于 2004-12-09 01:51 |只看该作者

请教多行匹配问题

哇,还好我到freebsdchina去看了看帖子,没有早睡.否则就走宝了
谢谢您,我再看看
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
18楼 [报告]
发表于 2004-12-09 01:57 |只看该作者

请教多行匹配问题

啊,谢谢,这次看明白了...
以前我用sed的时候很少用到删除,即使用到也大多是替换删除某段...整行删除还是第一次学习

谢谢老大的注释,很详尽清晰,而且很佩服您最后连table不匹配情形都考虑到了...我写shell经常因为偷懒而不写容错或者错误反馈...惭愧ing
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
19楼 [报告]
发表于 2004-12-09 04:35 |只看该作者

请教多行匹配问题

偷qq那里天气的...我是在phpwind 2.02里面用

1.sh
  1. #!/bin/awk -f
  2. {
  3.   if (match($0,/^<\/table>/)) {  #这里表示匹配</table>
  4.         i++                       
  5.         if (i==2) {
  6.            s="1,"NR"d"
  7.         }
  8.   }
  9. }

  11. END {
  12.   if ( s != "" )
  13.         system("sed \""s"\" "ARGV[1])#调用　sed 删除相应的行
  14.   else
  15.         print "No matches found !!"

  17. }
复制代码


2.sh
  1. #!/bin/awk -f
  2. {
  3.   if (match($1,/^<link/)) {  #这里表示匹配<link
  4.            s=NR","NR+10"d"
  5.         }
  6. }

  8. END {
  9.   if ( s != "" )
  10.         system("sed \""s"\" "ARGV[1])#调用　sed 删除相应的行
  11.   else
  12.         print "No matches found !!"

  14. }
复制代码


然后最后一个weather.sh中调用他们

  2. #!/bin/sh
  3. wget -b http://appnews.qq.com/cgi-bin/news_weather_list
  4. sleep 20
  5. ./1.sh news_weather_list > weathertmp.htm
  6. ./2.sh weathertmp.htm > weather.htm
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
skylove

论坛徽章:
0
20楼 [报告]
发表于 2004-12-09 18:39 |只看该作者

请教多行匹配问题

顶上去~~~~给更多的人看到斑竹的解答方法...我想不止我一个人遇到这个问题吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP