请教 HTML::TreeBuilder::XPath 如何取得xpath 对应的所有 html contents

david_95

我想取得 xpath 对应的html contents, 就是 带 html tag attributes 等内容。我用 $treeParser->as_XML_compact($xpath_setting) 有时候会报错 ，我猜是因为网页内容可能不完整，无法解析为xml

我后来又找到 $treeParser->findnodes_as_string($xpath_setting)， 但是这个有缺陷： 对应xpath 只有一个node 时，是ok 的。 如果xpath 有一批对应的node ,就只能把第一层node 的html tag 找出来。

例如： 我用到 xpath:  .//div[contains(\@id,\"Widget\")] ,这个对应十个 div , 每隔div 下有多个node.
而 findnodes_as_string ，就只能找出十个div ， div 下的node 内容就丢失了。
取得内容是就像  <div id="ns_0WNSWFKX64E4EKK8BYVR_1831_Widget" class="a-section unified_widget rcm widget s9hl s9Widget s9Multipack"></div>
而div 下还应该有多个html node..
请教我该怎么作，才能把对应十个div 下，所有的html 内容都获得？

yakczh_cu

用　scrappy  https://metacpan.org/pod/Scrappy

1. 
   
2. $element = $scraper->select('css-style')->data->[0]
   
3. print $element->{html}
   

复制代码

david_95

回复 2# yakczh_cu


    谢谢，看了一下，scrappy 确实很强大，研究中

david_95

在家和在公司的电脑， cpan 都安装Scrappy失败， 好挫败啊 。 perl module 为什么这么难安装
在公司是 因为依赖 DateTime::Formate::Sqlite 无法安装失败
在家是因为依赖 Template 无法安装失败

yakczh_cu

@david_95

1. 
   
2. use 5.01;
   
3. use HTML::TreeBuilder::XPath;
   
4. 
   
5. my $tree= HTML::TreeBuilder::XPath->new;
   
6. $tree->parse_file( \*DATA);   
   
7. 
   
8. 
   
9. my $allhtml=$tree->findnodes_as_string( '//div[contains(@id,"Widget")]/*');   
   
10. say $allhtml;
    
11. 
    
12. __DATA__
    
13. <div id='Widget' >
    
14.       <ul id='first'>
    
15.                
    
16.                         <li><a href="http://www.baidu.com">baidu</a></li>
    
17.                         <li><a href="http://www.google.com">google</a></li>
    
18.                        <li>  <a href="http://www.soso.com">soso</a></li>
    
19.                  
    
20.         </ul>
    
21.         <ul id='secend'>
    
22.                
    
23.                         <li><a href="http://www.baidu.com">baidu</a></li>
    
24.                         <li><a href="http://www.google.com">google</a></li>
    
25.                        <li>  <a href="http://www.soso.com">soso</a></li>
    
26.                  
    
27.         </ul>
    
28.     </div>
    
29.     </body>
    

复制代码

david_95

回复 5# yakczh_cu


    十分感谢您的热心 , 我又试了一下，确实都取到了。之前测试时不清楚为啥没取到，我得找找之前的网页，看为啥不行。
返回结果是变量而不是数组。
而 findnodes_as_strings ,我以为是和 findnodes_as_string 有相似功能，而实际不是。 findnodes_as_strings 取网页的值，findnodes_as_string取网页的html contents
这两个函数名字取的不好，易被误解