请教各位大侠一个关于beautifulsoup的奇怪的问题

qxhgd

      1、我把一个网页保存为html，然后用beautifulsoup去分析。
      结果发现，通过封装的函数buildSoupFromStr(content)调用会报错，
      直接使用BeautifulSoup(content,fromEncoding="GBK")则不会。

      2、另外，请教各位大侠，如果抓取一个网页的文本部分，除了正则、beautifulsoup、还有比较好的办法吗？
       感觉beautifulsoup也不太方便。

  
报错内容如下：

1. Traceback (most recent call last):
   
2.   File "C:\Program Files\Python27\code\hanhan.py", line 29, in <module>
   
3.     buildSoupFromStr(content)
   
4.   File "C:\Program Files\Python27\code\hanhan.py", line 20, in buildSoupFromStr
   
5.     soup = BeautifulSoup(content,fromEncoding)
   
6.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1522, in __init__
   
7.     BeautifulStoneSoup.__init__(self, *args, **kwargs)
   
8.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1147, in __init__
   
9.     self._feed(isHTML=isHTML)
   
10.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1189, in _feed
    
11.     SGMLParser.feed(self, markup)
    
12.   File "C:\Program Files\Python27\lib\sgmllib.py", line 104, in feed
    
13.     self.goahead(0)
    
14.   File "C:\Program Files\Python27\lib\sgmllib.py", line 174, in goahead
    
15.     k = self.parse_declaration(i)
    
16.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1463, in parse_declaration
    
17.     j = SGMLParser.parse_declaration(self, i)
    
18.   File "C:\Program Files\Python27\lib\markupbase.py", line 109, in parse_declaration
    
19.     self.handle_decl(data)
    
20.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1448, in handle_decl
    
21.     self._toStringSubclass(data, Declaration)
    
22.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1379, in _toStringSubclass
    
23.     self.endData()
    
24.   File "build\bdist.win32\egg\BeautifulSoup.py", line 1251, in endData
    
25.     (not self.parseOnlyThese.text or \
    
26. AttributeError: 'str' object has no attribute 'text'

复制代码

全部代码如下：

1. # -*- coding: cp936 -*-
   
2. from sys import *
   
3. from BeautifulSoup import *
   
4. 
   
5. 
   
6. def getContent(filename):
   
7.     try:
   
8.         file_object = open(filename, 'r')
   
9.     except IOError:  
   
10.         print 'Can not find file'
    
11.         return -1
    
12.     try:
    
13.         content = file_object.read( )
    
14.     finally:
    
15.         file_object.close( )
    
16.     return content
    
17. 
    
18. def buildSoupFromStr(content,fromEncoding="GBK"):
    
19.     print type(content)
    
20.     soup = BeautifulSoup(content,fromEncoding)
    
21.     #return soup
    
22. 
    
23.    
    
24. if __name__ == '__main__':
    
25.     content = getContent('han.html')
    
26.     #print content
    
27.     if -1 == content:
    
28.         print 'error happen'
    
29.     buildSoupFromStr(content)
    
30.     #BeautifulSoup(content,fromEncoding="GBK")
    
31.    
    
32. 
    

复制代码

timespace

1.bs默认是UTF-8，如果真实页面是其它编码（ASCII除外），就会报错。在参数设置事先知道的编码方式。
2. bs支持多种API，比如CSS selector就比较方便，前提是要了解CSS selector的语法。总体来看，HTML/XML结构化文档的解析工作都是比较繁琐复杂，没什么捷径。

qxhgd

timespace 发表于 2014-05-31 19:31
1.bs默认是UTF-8，如果真实页面是其它编码（ASCII除外），就会报错。在参数设置事先知道的编码方式。
2. b ...

谢谢大侠！
关于1，我直接调用没有报错，但是我将参数传递进去之后就报错了！不是很奇怪的事情嘛！
貌似跟编码方式无关吧！

timespace

回复 3# qxhgd
是说调用方式啊，确实和编码无关。知道怎么用positional参数和keyword参数吗？改buildSoupFromStr：

1. soup = BeautifulSoup(content,fromEncoding= fromEncoding)

复制代码

qxhgd

回复 4# timespace

按照你的修改的确正常了，多谢了！

但是我做了个测试：

1. 
   
2. def func2(a,b):
   
3.     print 'a is ',a,',b is',b
   
4. 
   
5. def func1(a,b=5):
   
6.     func2(a,b)
   
7. 
   
8. func1(3,4)
   

复制代码

最终打印结果：
a is  3 ,b is 4


没有报错呢！

timespace

为什么要报错？bs的encoding需要keyword参数，你传了positional参数，导致bs的内部逻辑错误，但不是语法错误。

r2007

用lxml模块，然后用xpath语法析出你要的数据。

qxhgd

回复 7# r2007

谢谢大神，有空试试！