[文章采集] 请问如何补全url?

diychen

请问一下我在做采集的时候有些图片或者文章地址是相对路径,怎么办呢?

当然,我可以取新闻列表页URL加相对地址..
但是更多时候比如:
新闻列表页URL为:http://www.aaa.com/aaa/bb/news.html
然后图片相对地址为
../../images/tt.jpg

这时候我该怎么办呢?

而且更多的时候可能情况更复杂,不知道大家在遇到这样的问题的时候有什么好的解决方法?

peng1000cn

这个问题好，，顶。。

关系到页面里的地址如何处理。。

HonestQiao

原帖由 "diychen" 发表：
请问一下我在做采集的时候有些图片或者文章地址是相对路径,怎么办呢?

当然,我可以取新闻列表页URL加相对地址..
但是更多时候比如:
新闻列表页URL为:http://www.aaa.com/aaa/bb/news.html
然后图片相对地址为
..........

更多得时候，难道相对路径就不起作用了？
还是可以再基础路径上多次../../../../的。

hightman

版主, LZ的意思应该是把页面抓下来以后, 碰到图片无法显示时想寻找解决办法.

这个我觉得可以在读取网页内容时用正则表达式进行匹配判断,然后替换...

lnux

这个问题不好办，我以前用 outlook 发送网页时，发现网页中的图片是相对路径的，就无法显示。

HonestQiao

1. 
   
2. $strBaseUrl = "[当前页面的网页地址的路径部分(去掉最后的文件名成)]";
   
3. $strDist = preg_replace('/([src|href])=([\'"])(?!http:\/\/)(.+?)(.+?)([\'"])/', '$1=$2'.$strBaseUrl.'$3$4', $strSource);
   

复制代码

以上针对：
src='xxxxx'
src="xxxxx"
href='xxxxx'
href="xxxxx"
且其中的网址，不以http://开头

HonestQiao

1. 
   
2. <?php
   
3. $strSource = "src='../../../images/test.gif'";
   
4. $strBaseUrl = "http://www.test.com/";
   
5. $strDist = preg_replace('/([src|href])=([\'"])(?!http:\/\/)(.+?)(.+?)([\'"])/', '$1=$2'.$strBaseUrl.'$3$4', $strSource);
   
6. echo $strDist;
   
7. 
   
8. print "\n";
   
9. 
   
10. $strSource = "src='http://www.test.com/images/test.gif'";
    
11. $strBaseUrl = "http://www.test.com/";
    
12. $strDist = preg_replace('/([src|href])=([\'"])(?!http:\/\/)(.+?)(.+?)([\'"])/', '$1=$2'.$strBaseUrl.'$3$4', $strSource);
    
13. echo $strDist;
    
14. ?>;
    

复制代码

----------php Complier ----------
Content-type: text/html
X-Powered-By: PHP/4.4.0

src='http://www.test.com/../../../images/test.gif
src='http://www.test.com/images/test.gif'
输出完成 (耗时 0 秒) - 正常终止

powerpolly

相对路径有什么关系，比如现在http://www.a.com/b/c/index.html文件中有图片链接为<img src="../../imgs/a.gif">;，你要取图片是吗，你可能想方设法用绝对路径来表示：http://www.a.com/imgs/a.gif，其实可以直接在后面加，http://www.a.com/b/c/../../imgs/a.gif。这样有什么问题吗？

hightman

还个应该试试用preg_replace 里 /x 修正符, 针对 ".../.../" 和当前的 URL 判断层次数, 然后再返回应有的URL

YourEyes

版主：
如果它没有引号如何处理？

如：
<img src=a.gif>;