求助：python模拟访问网站

chinaunix874

我用类似下面的方法模拟访问网站：

url = 'http://www.xxx.com'
request = urllib2.Request(url)
response = urllib2.urlopen(request)

这样，response.read()就可以返回一个页面，然后页面里会有很多个超链接，类似下面格式：
<a href="/app/mylist.php?verify=6221_11" class="tdno">com</a>

这里的超链接不是一个绝对地址，而是一个相对地址，如果我想用python继续读取这个地址下的页面，应该怎样操作？是不是得先用一个html的解析器解析这段内容，提取出“/app/mylist.php?verify=6221_11”，然后再给这个字符串前面加上http://www.xxx.com，再用urllib2去重新读取页面？

flying_away

urlparse模块的urljoin()函数可以把 相对url 合成 绝对url

t6760915

是的，我以前的做法就是这样。。

chinaunix874

我是通过一个login页面登录进去的，页面上的链接是上面那个样子，login的页面类似:http://www.xxx.com/home/

登录进去后的页面就是上面的那个样子了。

这样的话，如果我用urlparse模块的urljoin()函数，是不是base的url，应该就是http://www.xxx.com？