如何精确提取网页源码中的链接？

xy4228147

大家好，我是一名py初学者，请多指教。
正如标题上说的 如何精确提网页源码中的链接地址，我苦恼的是网页中的链接地址并不完整、但又不明白是怎么回事所以请大家帮忙指导下

大家看：
<br/>04月06日<br/>21:29-<a href="?sa=d2733914t124v71&amp;cid=785&amp;vt=1">财政部:将出台资源税改革方案</a><br/>21:08-<a href="?sa=d2733907t124v71&amp;cid=785&amp;vt=1">陕西省长将率千人访问团赴台</a><br/>20:48-<a href="?sa=d2733894t124v71&amp;cid=785&amp;vt=1">沈阳经济区获批改革实验区</a><br/>20:45-<a href="?sa=d2733897t124v71&amp;cid=785&amp;vt=1">福建货车与挂车相撞致5人死亡</a><br/>20:41-<a href="?sa=d2733889t124v71&amp;cid=785&amp;vt=1">卫生部通报山西疫苗致死事件</a><br/>

我的问题是，提取【<a href="?sa=d2733914t124v71&amp;cid=785&amp;vt=1">财政部:将出台资源税改革方案】这个标题的链接 但是 你也看到了 链接不完整，
完整的是【http://3g.sina.com.cn/3g/news/?s ... mp;cid=785&vt=1】

请问大家怎样处理才能得到完整的效果？？？
---------------------------------------------------------------------------------------------
我尝试用已知的当前页面地址
【http://3g.sina.com.cn/3g/news/?s ... &pos=8&vt=1】
和这个wml代码比较处理
【<a href="?sa=d2733914t124v71&amp;cid=785&amp;vt=1">】
------------------------------------------------------------------------------------------

但是这太过局限，用在其他类型的上面就无用了。

如何像浏览器那样在任何类型的上面都可以解析得到正确的链接地址，这个要怎么弄?

iix

你的问题，其实是正则的问题，shell版有很多这样的提问了，可以举一反三的。
建议用sed或awk效率可能更高。

wqjwftcaqr

你想干吗？如果仅仅为了可以采集到网址，你可以用前面固定的部分，和源代码里变量的部分，组合在一起。
如果还有什么不明白，gao2000@139.com
晚上帮你

chaoloo

你尝试的这个方法就是对的呀，先判断你抓到的链接是不是绝对地址，我想只要判断是不是以"http://"开头就可以了吧，如果是绝对地址，就直接用，如果是相对地址，就和当前页面地址的目录拼接一下。。。

3227049

比如在
http://3g.sina.com.cn/3g/news/?s ... mp;cid=785&vt=1

抓取,取出连接

?sa=d2733897t124v71&amp;cid=785&amp;vt=1

然后注意要unescape

变成
?sa=d2733897t124v71&cid=785&vt=1

然后用urlparse.urljoin('http://3g.sina.com.cn/3g/news/?sa=d2733914t124v71&cid=785&vt=1','?sa=d2733897t124v71&cid=785&vt=1')

得到的http://3g.sina.com.cn/3g/news/?s ... mp;cid=785&vt=1

就是最终的url

xy4228147

回复 3# wqjwftcaqr


    谢谢

xy4228147

回复 5# 3227049


    这个强，谢谢哦