请帮忙看看这段提取网页链接的代码

chinaunix874

先上代码，再说问题。

1. # -*- coding: utf-8 -*-
   
2. from sgmllib import SGMLParser
   
3. class ListName(SGMLParser):
   
4.     is_data = False
   
5.     urls = []
   
6. #    def __init__(self, text):
   
7. #        self.text = text
   
8. 
   
9.     def handle_data(self, text):
   
10.         if text == 'Google.com in English':
    
11.             self.is_data = True
    
12. 
    
13.     def start_a(self, attrs):
    
14.         if self.is_data:
    
15.             href = [ v for k, v in attrs if k == 'href']
    
16.             if href:
    
17.                 self.urls.extend(href)
    
18.         self.is_a = True
    
19.     def end_a(self):
    
20.         self.is_a = False
    
21. 
    
22. import urllib
    
23. url = 'http://www.google.com.hk'
    
24. page = urllib.urlopen(url).read()
    
25. 
    
26. #x = ListName('Google.com in English')
    
27. x = ListName()
    
28. #print 'x.text',x.text
    
29. x.feed(page)
    
30. print x.urls

复制代码

第一个问题：我的意图是，当handle_data发现内容是“Google.com in English”的时候，就提取对应的url，这里设置了一个标志，is_data。
可是实际运行的时候，我发现，提取出来的url，不是对应“Google.com in English”的超链接，而是下一个超链接，这是什么原因？

第二个问题：我想比较中文，比如我写成：        if text == '翻译':  这样，就匹配不了了，看来应该是编码问题，应该怎么处理？

第三个问题：我想传入一个参数，用来对比，即提取特定文字对应的url，可是我发现似乎不能定义__init__方法？这是为什么？

t6760915

第一个问题：我的意图是，当handle_data发现内容是“Google.com in English”的时候，就提取对应的url，这里设置了一个标志，is_data。

因该是

1. 
   
2. if 'Google.com in English' in text:
   
3.     pass
   

复制代码

第二个问题：我想比较中文，比如我写成：        if text == '翻译':  这样，就匹配不了了，看来应该是编码问题，应该怎么处理？

这应该就是编码问题，你的程序文件是什么编码？在==时两边的编码应该一致。

第三个问题：我想传入一个参数，用来对比，即提取特定文字对应的url，可是我发现似乎不能定义__init__方法？这是为什么？

这个你还是写一个工具函数：

1. 
   
2. def getUrl(self, myurl):
   
3.     for url,name in self.urls:
   
4.         if url == myurl:
   
5.             return name
   
6.     return ''
   
7.             
   

复制代码

我假设你的self.url里面是存储的[(url1,name1),(url2,name2)],比较的时候编码也要一致

luffy.deng

回复 1# chinaunix874

你没有搞清楚数据处理的过程。要先添加url然后用 handle_data判断本次添加的url是否符合要求，不符的予以删除。
关于中文比较应该没什么问题。

1. #!/usr/bin/python
   
2. #coding=utf-8
   
3. from sgmllib import SGMLParser
   
4. import urllib
   
5. class ListName(SGMLParser):
   
6.     def __init__(self,v_arg=''):
   
7.         self.is_data = False
   
8.         self.urls = []
   
9.         self.arg=v_arg
   
10.         SGMLParser.__init__(self)
    
11.     def handle_data(self, text):
    
12.         if not self.is_data:
    
13.             return
    
14.         if text != self.arg:
    
15.             self.urls.pop()
    
16.         self.is_data=False
    
17.     def start_a(self, attrs):
    
18.         for k, v in attrs:
    
19.             if k == 'href':
    
20.                 self.urls.append(v)
    
21.                 self.is_data=True
    
22.                 break
    
23. url = 'http://www.google.com.hk'
    
24. page = urllib.urlopen(url).read()
    
25. x = ListName('Google.com in English')
    
26. x.feed(page)
    
27. print x.urls

复制代码

输出：
['http://www.google.com/ncr']