利用python登录wap网站

chinaunix874

之前发过一个帖子，关于开心网的，不知道是不是被当作广告了，帖子被删除了，我重新发一个吧，请各位帮忙看看下一步怎么进行。

先说说目前实现到什么了：目前可以登录wap开心网的首页，并且解析html文件后，可以把所有的超链接都提取出来。

需要解决的问题，我想访问里面特定的某个超链接，比如“组件”这个超链接，我该怎么提取这个超链接呢？

urllister.py

1. from sgmllib import SGMLParser
   
2. 
   
3. class URLLister(SGMLParser):
   
4.     def reset(self):
   
5.         SGMLParser.reset(self)
   
6.         self.urls = []
   
7. 
   
8.     def start_a(self, attrs):
   
9.         href = [v for k, v in attrs if k == 'href']
   
10.         if href:
    
11.             self.urls.extend(href)
    

复制代码

kaixin001.py

1. # -*- coding: utf-8 -*-
   
2. #File name kaixin001.py
   
3. 
   
4. import urllib
   
5. import urllib2
   
6. import httplib
   
7. import cookielib
   
8. import urllister
   
9. 
   
10. def login(url, params):
    
11.     try:
    
12.         params = urllib.urlencode(params)
    
13.         request = urllib2.Request(url, params)
    
14.         response = urllib2.urlopen(request)
    
15.         return response.read()
    
16.     except:
    
17.         return False
    
18. 
    
19. def getpage(url):
    
20.     try:
    
21.         request = urllib2.Request(url)
    
22.         response = urllib2.urlopen(request)
    
23.         return response.read()
    
24.     except:
    
25.         return False
    
26. 
    
27. if __name__ == '__main__':
    
28.    
    
29.     print '正在登录...'.decode('utf-8')
    
30.     url = 'http://wap.kaixin001.com/home/'
    
31.     params = {"email":"aaa@bbb.cn","password":"123456","from":"","refuid":"0","refcode":"","bind":"","gotourl":"","login":"登录"}
    
32. 
    
33.     html = login(url, params)
    
34.     parser = urllister.URLLister()
    
35.     parser.feed(html)
    
36.     for url in parser.urls: print url

复制代码

t6760915

之前发过一个帖子，关于开心网的，不知道是不是被当作广告了，帖子被删除了，我重新发一个吧，请各位帮忙看 ...
chinaunix874 发表于 2010-05-31 17:36

    要是他是通过ajax取的数据我感觉没发取吧,你能得到他请求ajax页面的请求url么?

chinaunix874

要是他是通过ajax取的数据我感觉没发取吧,你能得到他请求ajax页面的请求url么?
t6760915 发表于 2010-05-31 17:43

我试过login之后把页面保存成文件，然后看页面源文件，把超链接取出来之后，再用urlopen，是可以继续打开下一级页面的。所以应该不是ajax的页面请求吧？wap是手机上用的，大概没那么复杂。

我看了整个页面内容，除了首页login的时候需要post数据，其余页面基本上全部是超链接形式了。

t6760915

那你现在需要把符合组件那个特征的url提取出来,带上cookie,get一下就可以了吧,你写的方法里面没有带cookie

chinaunix874

那你现在需要把符合组件那个特征的url提取出来,带上cookie,get一下就可以了吧,你写的方法里面没有带cookie
t6760915 发表于 2010-05-31 18:01

带不带cookie都没问题，我试过。不过cookie该怎么操作？

另外，我现在的问题就是，怎么提取符合“组件”的这个url？
我前面的代码，基本上都是东拼西凑的，现在print出来的，是所有的超链接，也不知道哪个是“组件”了。

是不是应该先用正则表达式查找一下“组件”，然后再想办法用html的分析工具分析？能不能帮忙再给个示例？

t6760915

带不带cookie都没问题，我试过。不过cookie该怎么操作？

另外，我现在的问题就是，怎么提取符合“组 ...
chinaunix874 发表于 2010-05-31 18:28

    你得看html的代码,找到你需要的那个url啊,我不是说按特征提取吗,比如这个url是http://www.baidu.com/gcc/c0001.html
那你就用a.startswith('http://www.baidu.com/gcc/c0001')这些东西提取或者用正则啊,你总知道你要抓的url吧

chinaunix874

你得看html的代码,找到你需要的那个url啊,我不是说按特征提取吗,比如这个url是
那你就用a.start ...
t6760915 发表于 2010-05-31 21:21

就是不知道url是什么才要提取啊。

比如得到的页面类似如下：

<a href="/app/mylist.php?verify=38985495_38985495_1275354092_c82d5047834279b954adcbfa3ff3694d_kx>组件</a>

当然，还会有其他很多类似的超链接。
我现在就想做到能够从组件这个标签里把超链接提取出来，应该怎么办呢？比如我用正则表达式是能够匹配到“组件”两个字，可是怎么去处理对应组件的html标签呢？

t6760915

就是不知道url是什么才要提取啊。

比如得到的页面类似如下：
chinaunix874 发表于 2010-06-01 09:04

1. #coding=utf-8
   
2. 
   
3. import re
   
4. 
   
5. html = '<a href="/app/mylist.php?verify=38985495_38985495_1275354092_c82d5047834279b954adcbfa3ff3694d_kx>组件</a>'
   
6. 
   
7. mylist = re.compile('<a href="(.*?)>(.*?)</a>', re.DOTALL).findall(html)
   
8. 
   
9. for key,val in mylist:
   
10.     key = key.decode('utf-8', 'ignore').encode('gbk', 'ignore')
    
11.     val = val.decode('utf-8', 'ignore').encode('gbk', 'ignore')
    
12. 
    
13.     print key
    
14.     print val

复制代码

chinaunix874

多谢t6760915

现在问题就是，每次登录后，获得的超链接是不同的，比如我重新登录一次，组件就变成下面这个样子了：


<a href="/app/mylist.php?verify=38985495_38985495_1275361701_817fbc84e1c61d4ab36cf91b4719edbf_kx">组件</a>

我现在想的是，能不能给定一个关键字，然后用python提取出对应的url，比如函数格式如下：

def geturl(html, keyword):
从给定的html文件中，查找对应keyword的超链接标签，并且提取出来。

t6760915

多谢t6760915

现在问题就是，每次登录后，获得的超链接是不同的，比如我重新登录一次，组件就变成下面这 ...
chinaunix874 发表于 2010-06-01 11:14

1. def .....:
   
2.     for key,val in mylist:
   
3.         if val == '组件':
   
4.             return key
   
5. 
   
6.     return False

复制代码