[正则]请问采集如何识别用户标签的呢?

diychen

1. 
   
2. <?
   
3. $body = "()
   
4.                         href='/01/22/394142.htm' target=_blank
   
5.                         >哲理小品：偷不走的阳光</";
   
6. $rules = "/href=\'(.+?)\' target=_blank
   
7.                   >(.+?)<\//is";
   
8. preg_match($rules, $body, $URL);
   
9. echo $URL[1] .'和'. $URL[2];
   
10. ?>
    

复制代码

乔乔老大,帮帮忙~~

ps:怕挨删帖,反复多次修改了帖子标题,从行动上坚决支持乔乔,老大经常在MSN上给我提供帮助,呵呵.

[ 本帖最后由 diychen 于 2005-11-26 21:40 编辑 ]

trask

这是我现在所用的。

1. <?php
   
2. 
   
3. $str ='<a href=\'/01/22/394142.htm\' target=_blank>哲理小品：偷不走的阳光</a>';
   
4. /* 超链接标题 */
   
5. preg_match_all( "/>(.*?)<\/a>/i", $str, $hreft );
   
6. /* 超链接内容 */
   
7. preg_match_all( "/href=(\"|'|)(.*?)(\"|'|)[[:space:]]/i", $str, $hrefc );
   
8. 
   
9. $strResult[1] = $hreft[1][0];
   
10. $strResult[2] = $hrefc[2][0];
    
11. 
    
12. echo '<pre>';
    
13. print_r($strResult);
    
14. echo '</pre>';
    
15. 
    
16. ?>

复制代码

输出:

1. Array
   
2. (
   
3.     [1] => 哲理小品：偷不走的阳光
   
4.     [2] => /01/22/394142.htm
   
5. )

复制代码

diychen

谢谢楼上的兄弟,你是不是开花石头啊?
我修改了我的PHP代码如下通过:

1. 
   
2. <?
   
3. $body = "()
   
4.                         href='/01/22/394142.htm' target=_blank
   
5.                         >哲理小品：偷不走的阳光</";
   
6. 
   
7. $rules = "/href=\'(.+?)\'/";
   
8. 
   
9. preg_match($rules, $body, $URL);
   
10. 
    
11. $rules = "/>(.+?)</";
    
12. 
    
13. preg_match($rules, $body, $TITLE);
    
14. echo $TITLE[1] .'和'. $URL[1];
    
15. ?>
    

复制代码

trask

我不是石头，这是石头逆向发布中摘取的。

diychen

对了,那就顺便再问个问题,
大家注意到很多采集程序可以让用户填写[内容][标题]等标签.
但程序是怎么样判断到底采回来的内容是什么的呢?
因为我们其实最终都会帮用户将这些表达式翻译成正则,
如果我这样写:
<a href=[地址]>[标题]</a>
当然程序可以直接翻译成正则,因为很明显
preg_match后,第一个元素是地址,第二个是标题.
于是就$url = $Data[1];
$title = $Data[2];
但是假如是有这样的内容,我想做采集,用户使用了[可变数据]标签,那我们的程序如何获得呢?
HTML内容是:
<a href=/society.html>(社会)</a><a href=fdsfa87fdss8d7f9sa8.html>第一条标题</a>
<a href=/tech.html>(科技)</a><a href=fdsfa87fd87fd65of9h.html>第二条标题</a>
那么用户就必须这样写采集规则:
<a href=/[可变数据]>([可变数据])</a><a href=[地址]>[标题]</a>
那我们的程序这时候如何识别,获得地址和标题?

ps:乔乔如果觉得这个属于新的话题我就另开个新主题好了.

trask

你可以安装一下石头的逆向发布来看一看。

留意php采集也好久了，众多人普遍看法是如果要做成通用型式，还有点困难。大多是具体情况具体分析。你可以酌情为你不同的用户考虑不同“采集规则”，尽量别提供什么可变数据。网页内容千差万错。要客户在“可变”使用上遇到错误，就说你程序不爽。

考虑使用石头的流程：
先采集列表页（切取首尾不需要的内容，大多是站点栏目连接、广告之类）入库---->根据入库的列表数据，选择是否抓取（提取列表中的地址，读取远端网页内容，然后切取主要内容<标题、正文>）。

这中间都有切取首尾操作，大可向用户解释清楚，在所切取内容时的选取“首”“尾”标记，一定要是该标记在所抓网页中唯一出现的，这样的准确度也高一些。

昨晚我也忙了一宿，主要是src=的路径修正。这个标签参数在img、js、swf中经常使用，也够烦人的。好些网页并不按标准来写（如src="(双引)"    src='单引'），较为烦人的是还有比如<img name="id" src=/>这样的。

diychen

呵呵,挺难的.

HonestQiao

http://bbs.chinaunix.net/viewthread.php?tid=642112

这个基本非常好用了。