已解决:beautifulsoup抓取中文内容乱码的问题

lnzfm

网上很多资料说soup设置gb18030编码可以解决乱码问题，可是我的代码仍然出中万能现乱码，谁能帮我分析下原因


# -*- coding: utf-8 -*-
import urllib2
import sys
from BeautifulSoup import BeautifulSoup
req = urllib2.Request("http://www.aizhan.com/siteall/www.ip138.com/")
f = urllib2.urlopen(req)
#content = f.read().decode('UTF-8').encode('GBK')  //网页抓取内容，显示中文正常
content = f.read()
soup = BeautifulSoup(content,fromEncoding="gb18030") //使用gb18030编码问题仍没解决
for gg in soup.findAll('div',{'class':'box_17'})[1]:
          print  gg

wenhq

BeautifulSoup(content.decode('gb2312','ignore'))  试试这个

lnzfm

回复 1# lnzfm

抱歉，还是不行

   

lnzfm

我明白了
表面上看起来从BeautifulSoup解析后得到的soup，打印出来是乱码，但是实际上其本身已经是，正确的（从原始的GB2312编码）解析（为Unicode）后的了。
之所以乱码，那是因为，打印soup时，调用的是__str__，其默认是UTF-8，所以输出到GBK的cmd中，才显示是乱码。

这个帖子里分析的很详细,可供参考
http://www.crifan.com/beautifuls ... t_print_messy_code/

多谢大家