免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 用Perl实现对Html可变标签整理的问题
12下一页
最近访问板块 发新帖
查看: 4883 | 回复: 10
打印 上一主题 下一主题

用Perl实现对Html可变标签整理的问题 [复制链接]

niaya

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2009-02-16 10:50 |只看该作者 |倒序浏览
20可用积分
之前麻烦过大家一次，这次还需要大家继续帮忙。
对一个用Word编辑过的html页面进行htmlTAG整理。

html的body部如下

$html

  2. <body>
  3. <p style='margin-top:0pt;margin-right:0pt;margin-bottom:0pt;margin-left:.0pt; '>
  4. <span lang=JA style='font-size:10.0pt; font-family:Arial'>aaaaa<span face=Arial><span class=GramE>
  5. <span class=grame><span lang=EN-US style='font-size:9.0pt; font-family:Arial'><b> AAAAA </b>
  6. <span style=Arial><span face=Arial>BBBBB</span></b><span face=Arial>CCCCC </span><b>
  7. <span face=Arial> DDDDD</span></b><span face=Arial>EEEEE</span><span face=Arial>
  8. <span style="mso-spacerun:yes">FFFFF</span></span><span face=Arial>GGGGG</span>
  9. <span face=Arial>HHHHH</span><o:p></o:p></span></span></span></span></span></span></p>
  10.        
  11. <p style='margin-top:0in;margin-right:0in;margin-bottom:0in;margin-left:.2in;
  12. margin-bottom:.0001pt;'><span face=Arial><span class=GramE><span
  13. class=grame><span style='font-size:9.0pt;line-height:150%;font-family:Arial'>OOOOO
  14. <b><span face=Arial>PPPPP</span></b><span face=Arial> IIIII </span><b><span
  15. face=Arial>JJJJJ</span></b><span face=Arial> KKKKK</span><span
  16. face=Arial><span style="mso-spacerun:yes">&nbsp;</span></span><span face=Arial>LLLLL</span>
  17. <span face=Arial>MMMMM</span><o:p></o:p></span></span></span></span></p>

  19. </body>
复制代码


利用下面这段Perl代码整理

  2. {
  3.     my $mainspan;
  4.     my $h = HTML::TreeBuilder->new_from_content( decode($encode, $html) );

  6.     for my $p ($h->look_down(_tag => q{p}) ) {

  8.         for my $span( $h->look_down(_tag => q{span}) ) {
  9.             if ( defined $span->attr('lang') ) {
  10.                 $span->attr(lang=>undef);
  11.                 $mainspan = $span;
  12.                 last;
  13.             } #else {
  14. #$mainspan = $span;
  15.       #last;
  16. #}
  17.         }

  19.         for my $span( $p->look_down(_tag => q{span}) ) {
  20.             $span->replace_with_content($span->content_refs_list);
  21.         }

  23.         my @content = $p->content_list;

  25.         if (@content) {
  26.             $p->detach_content();
  27.             $mainspan->push_content(@content);

  29.             $p->push_content($mainspan);
  30.         }
  31.     }

  33.     $s = encode( $encode, $h->as_HTML('<>&',' ',{}) ) . "\n";

  35.     print $html;

  37.     $h->delete;

  39. }
复制代码


处理之后的代码如下。
$html

  2. <body>
  3.    <p style="margin-top:0pt;margin-right:0pt;margin-bottom:0pt;margin-left:.0pt; ">
  4.    </p>
  5.    <p style="margin-top:0in;margin-right:0in;margin-bottom:0in;margin-left:.2in; margin-bottom:.0001pt;"><span style="font-size:9.0pt; font-family:Arial">aaaaa <b> AAAAA </b> BBBBBCCCCC <b>  DDDDD</b>EEEEE FFFFFGGGGG HHHHHOOOOO <b>PPPPP</b> IIIII <b>JJJJJ</b> KKKKK&nbsp;LLLLL MMMMM</span></p>
  6. </body>
复制代码


里面的内容整理得有问题。
请问如何修正代码可以使下面的要求实现。

删除<span lang=XXX> <span face=XXX><span class=XXX>及对应的</span>标签
将<span lang=XXX style=XXX>这样的标签转换成<span style=XXX>
注意：<span style=XXX>的标签不删。

[ 本帖最后由 niaya 于 2009-2-16 10:51 编辑 ]

最佳答案

ynchnluiti

查看完整内容
ynchnluiti

论坛徽章:
3
戌狗 日期:2014-09-10 17:07:162015年辞旧岁徽章 日期:2015-03-03 16:54:15wusuopu 日期:2016-06-17 17:43:45
2楼 [报告]
发表于 2009-02-16 10:50 |只看该作者
  1. {
  2.         my $h = HTML::TreeBuilder->new_from_content( decode($encode, $html) );

  4.         for my $span( $h->look_down(_tag => q{span}) ) {
  5.                 $span->attr(lang=>undef) if ( defined $span->attr('lang') );

  7.                 $span->replace_with_content($span->content_refs_list) if
  8.                         ( not defined $span->attr('style') );
  9.         }

  11.         $s = encode( $encode, $h->as_HTML('<>&',' ',{}) ) . "\n";

  13.         print $s;

  15.         $h->delete;
  16. }
复制代码

<html>
<head>
</head>
<body>
  <p style="margin-top:0pt;margin-right:0pt;margin-bottom:0pt;margin-left:.0pt; "><span style="font-size:10.0pt; font-family:Arial">aaaaa <span style="font-size:9.0pt; font-family:Arial"><b> AAAAA </b> <span style="Arial">BBBBBCCCCC <b>  DDDDD</b>EEEEE <span style="mso-spacerun:yes">FFFFF</span>GGGGG HHHHH</span></span></span></p>
  <p style="margin-top:0in;margin-right:0in;margin-bottom:0in;margin-left:.2in;
margin-bottom:.0001pt;"><span style="font-size:9.0pt;line-height:150%;font-family:Arial">OOOOO <b>PPPPP</b> IIIII <b>JJJJJ</b> KKKKK<span style="mso-spacerun:yes">&nbsp;</span>LLLLL MMMMM</span></p>
</body>
</html>
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ynchnluiti

论坛徽章:
3
戌狗 日期:2014-09-10 17:07:162015年辞旧岁徽章 日期:2015-03-03 16:54:15wusuopu 日期:2016-06-17 17:43:45
3楼 [报告]
发表于 2009-02-16 11:57 |只看该作者

回复 #2 ynchnluiti 的帖子

结果是楼主要的吗？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
niaya

论坛徽章:
0
4楼 [报告]
发表于 2009-02-16 14:47 |只看该作者
非常谢谢ynchnluiti的帮助 这段代码已经基本解决了这个问题。

但是目前还有2个小问题需要解决。

1 代码中单引号和双引号的问题：
原始代码     <p style='margin-top:0pt;margin-right:0pt;margin-bottom:0pt;margin-left:.0pt; '>
转换后代码  <p style="margin-top:0pt;margin-right:0pt;margin-bottom:0pt;margin-left:.0pt; ">

这里的符号发生了变化，在英文网页中看没有任何问题，但是日文版网页中就会看到一些标签失效的问题。
这里我在想是不是$h->as_HTML('<>&',' ',{}) 这个地方的问题。
能不能修改一下让这个单引号不要变成双引号呢？

2 对于一些特殊字符  诸如 √ ∫ № μ　① ② ③ 这样的符号都没有被正确识别，语言Code已经被正确导入了的话。
是否还要追加一些设定呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ynchnluiti

论坛徽章:
3
戌狗 日期:2014-09-10 17:07:162015年辞旧岁徽章 日期:2015-03-03 16:54:15wusuopu 日期:2016-06-17 17:43:45
5楼 [报告]
发表于 2009-02-16 19:44 |只看该作者
原帖由 niaya 于 2009-2-16 14:47 发表
非常谢谢ynchnluiti的帮助 这段代码已经基本解决了这个问题。

但是目前还有2个小问题需要解决。

1 代码中单引号和双引号的问题：
原始代码     
转换后代码  

这里的符号发生了变化，在英文网页中看 ...

1 暂时没找到dump标签属性用单引号的设置。不过日文里，html的属性应该也可以用双引号吧
2 脚本的编码，浏览软件（浏览器，编辑器等）的编码也要一致。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
niaya

论坛徽章:
0
6楼 [报告]
发表于 2009-02-17 10:29 |只看该作者
原帖由 ynchnluiti 于 2009-2-16 19:44 发表

1 暂时没找到dump标签属性用单引号的设置。不过日文里，html的属性应该也可以用双引号吧
2 脚本的编码，浏览软件（浏览器，编辑器等）的编码也要一致。


是这样，因为我说的这个问题只是我要实现功能的一部分。
还有其他的处理是基于原来的这部分代码的。
如果说改变了这样的TAG信息，大部分的内容我都要写两次判断，这样比较麻烦。

能不能不使用这个TreeBuilder直接完成这个处理？
比如说，把整个html拼成一个字符串，对这个字符串进行处理。
（每一段落<p>对于<span>进行堆栈操作的话可行吗？）

现在的确是不希望代码的变动太大。如果不用这个TreeBuilder的话，上面这两个问题都不会发生。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ynchnluiti

论坛徽章:
3
戌狗 日期:2014-09-10 17:07:162015年辞旧岁徽章 日期:2015-03-03 16:54:15wusuopu 日期:2016-06-17 17:43:45
7楼 [报告]
发表于 2009-02-17 13:50 |只看该作者
原帖由 niaya 于 2009-2-17 10:29 发表
能不能不使用这个TreeBuilder直接完成这个处理？
比如说，把整个html拼成一个字符串，对这个字符串进行处理。
（每一段落<p>对于<span>进行堆栈操作的话可行吗？）

复杂的html不好处理。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
niaya

论坛徽章:
0
8楼 [报告]
发表于 2009-02-18 11:02 |只看该作者
原帖由 ynchnluiti 于 2009-2-17 13:50 发表

复杂的html不好处理。


那我把我的需求补充一下吧。
刚才看了下，可以实现对某些TAG的删除。

比如说我现在要对<head></head>这对标签进行整理。
将其间所有除了<title></title>这个标签以外的所有子节点全部删除。

例如

  2. <head>
  3. <meta XXXXX>
  4. <meta XXXXX>
  5. <title>AAAAA</title>
  6. <style=XXXXX>
  7. <style=XXXXX>
  8. .
  9. .
  10. .
  11. <XXXXXX>
  12. </head>
复制代码


整理为

  2. <head>
  3. <title>AAAAA</title>
  4. </head>
复制代码

这样

最好用TreeBuilder这类Html的模块实现。
应该用(content_list())吗？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
niaya

论坛徽章:
0
9楼 [报告]
发表于 2009-02-18 11:10 |只看该作者
原帖由 ynchnluiti 于 2009-2-16 19:44 发表

1 暂时没找到dump标签属性用单引号的设置。不过日文里，html的属性应该也可以用双引号吧
2 脚本的编码，浏览软件（浏览器，编辑器等）的编码也要一致。


这个问题英文Html的确是没有什么问题，但是在日文上面涉及到双引号和单引号的区别问题。

如下所示：


  2. #!/usr/bin/perl -w

  4. use warnings;
  5. use strict;

  7. use Encode;
  8. use HTML::Entities;
  9. use HTML::TreeBuilder;

  11. my $encode = 'shift_jis';

  13. my $html = <<'__HTML__';
  14. <html>

  16. <head>
  17. <title>TestForJP</title>
  18. </head>

  20. <body lang=JA>

  22. <p style='margin-top:0mm;margin-right:0mm;margin-bottom:0mm;margin-left:28.4pt;
  23. margin-bottom:.0001pt;'><span lang=EN-US
  24. style='font-size:10.0pt;font-family:"ＭＳ 明朝"'>AAAAA</span><span
  25. style='font-size:10.0pt;font-family:"ＭＳ 明朝"'>BBBBB<span
  26. lang=EN-US>CCCCC</span>DDDDD。<span lang=EN-US><br>
  27. EEEEE</span>FFFF<span lang=EN-US><br style='mso-special-character:line-break'>
  28. <![if !supportLineBreakNewLine]><br style='mso-special-character:line-break'>
  29. <![endif]><o:p></o:p></span></span></p>

  31. </body>

  33. </html>
  34. __HTML__

  36. {
  37.     my $h = HTML::TreeBuilder->new_from_content( decode($encode, $html) );

  39.     my $p = $h->look_down(_tag => q{p});
  40.    
  41.     for my $span( $h->look_down(_tag => q{span}) ) {
  42.                 $span->attr(lang=>undef) if ( defined $span->attr('lang') );

  44.                 $span->replace_with_content($span->content_refs_list) if
  45.                         ( not defined $span->attr('style') );
  46.         }


  49.     print encode( $encode, $h->as_HTML('<>&',' ',{}) ), "\n";

  51.     $h->delete;
  52. }
  53. __END__
  54. <html>
  55. <head>
  56.   <title>TestForJP</title>
  57. </head>
  58. <body lang="JA">
  59.   <p style="margin-top:0mm;margin-right:0mm;margin-bottom:0mm;margin-left:28.4pt
  60. ;
  61. margin-bottom:.0001pt;"><span style="font-si
  62. ze:10.0pt;font-family:"ＭＳ 明朝"">AAAAA</span><span style="fon
  63. t-size:10.0pt;font-family:"ＭＳ 明朝"">BBBBBCCCCCDDDDD。<br />
  64. EEEEEFFFF<br style="mso-special-character:line-break" />
  65.     <br style="mso-special-character:line-break" /></span></p>
  66. </body>
  67. </html>
复制代码


第一遍的结果是正确的。
但是如果把第一遍的这个结果再整理一次的话。
整理之后的Html代码就会像下面这个样子。


<html>
<head>
  <title>TestForJP</title>
</head>
<body lang="JA">
  <p style="margin-top:0mm;margin-right:0mm;margin-bottom:0mm;margin-left:28.4pt
;margin-bottom:.0001pt;"><span style="font-si
ze:10.0pt;font-family:" 明朝""="明朝""" ｍｓ="ＭＳ">AAAAA</span
><span style="fon
t-size:10.0pt;font-family:" 明朝""="明朝""" ｍｓ="ＭＳ">BBBBBCC
CCCDDDDD。<br /> EEEEEFFFF<br style="mso-special-character:line-break" />
    <br style="mso-special-character:line-break" /></span></p>
</body>
</html>
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ynchnluiti

论坛徽章:
3
戌狗 日期:2014-09-10 17:07:162015年辞旧岁徽章 日期:2015-03-03 16:54:15wusuopu 日期:2016-06-17 17:43:45
10楼 [报告]
发表于 2009-02-18 15:08 |只看该作者

回复 #8 niaya 的帖子

原帖由 niaya 于 2009-2-18 11:02 发表
应该用(content_list())吗？

可以用content_list。应该也有别的方法。
  1. my $html= << '__HTML__';
  2. <head>
  3. <meta XXXXX>
  4. <meta XXXXX>
  5. <title>AAAAA</title>
  6. <style=XXXXX>
  7. <style=XXXXX>
  8. <XXXXXX>
  9. </head>
  10. <body>

  12. </body>
  13. __HTML__

  15. {
  16.     my $h = HTML::TreeBuilder->new_from_content( $html );

  18.     for my $head ($h->look_down(_tag => q{head}) ) {
  19.             foreach my $item ($head->content_list) {
  20.                     $item->delete if not $item->tag() eq 'title';
  21.             }
  22.     }

  24.     print $h->as_HTML('<>&',' ',{});

  26.     $h->delete;

  28. }
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP