实用编码问题请教

caesarok

1. 
   
2. #!/usr/bin/env python
   
3. #-*-coding:gbk
   
4. import urllib,time,os
   
5. #import codecs
   
6. for i in range(1,10):
   
7.     data = urllib.urlopen('http://djangobook.py3k.cn/chapter0%d/'%i).read()
   
8.     f=open('0%d.html'%i,'w')
   
9.     f.writelines(data)
   
10.     f.close()
    

复制代码

结果生成的html文件是乱码,
怎么才生成的HTML文件正常呀,

openspace

这个应该先解析一下吧
先看看网页用的什么编码，然后根据此编码进行存储

openspace

1. 
   
2. #!/usr/bin/env python
   
3. 
   
4. 
   
5. import urllib, time, os
   
6. import re
   
7. 
   
8. 
   
9. URL = 'http://djangobook.py3k.cn/chapter0%d'
   
10. FILE = r'0%d.html'
    
11. PATTERN = r'charset=\w+-?\d*'
    
12. 
    
13. 
    
14. def grabpage():
    
15.         for i in range(1, 10):
    
16.                 data = urllib.urlopen(URL % i).read()
    
17.                 coding = charset(data)
    
18.                 if coding is None: continue
    
19.                 data = unicode(data, coding)
    
20.                 f = open(FILE % i, 'w')
    
21.                 f.write(data.encode(coding))
    
22.                 f.close()
    
23. 
    
24. 
    
25. def charset(text):
    
26.         target = re.compile(PATTERN)
    
27.         m = re.search(target, text)
    
28.         if m is not None:
    
29.                 return m.group()[8:]
    
30.         return None
    
31. 
    
32. 
    
33. if __name__ == '__main__':
    
34.         grabpage()
    

复制代码

处理中文的时候先转换成Unicode，最后再encode写入文件

[ 本帖最后由 openspace 于 2009-8-6 10:29 编辑 ]

caesarok

从你这我找到些方法.

http://djangobook.py3k.cn/ 这里有好书,我想用python写个东东全下下来,呵呵.

PATTERN = r'charset=\w+-?\w*'

但是
data = urllib.urlopen('http://djangobook.py3k.cn/chapter0%d/'%i).read()
才能获取到chapter01~chapter10的文章,
需要下 http://djangobook.py3k.cn/chapter02/ 这些文章,
但是我换成这个data 却显示

1. 
   
2. > "C:\Python25\python.exe" -u "D:\python\python\network\test\get.py"
   
3. Traceback (most recent call last):
   
4.   File "D:\python\python\network\test\get.py", line 45, in <module>
   
5.     grabpage()
   
6.   File "D:\python\python\network\test\get.py", line 23, in grabpage
   
7.     data = unicode(data, coding)
   
8. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 248: ordinal not in range(128)
   

复制代码

跟我之前想的别的方法一样, 还是不行!

[ 本帖最后由 caesarok 于 2009-8-6 10:06 编辑 ]

openspace

没看明白你的问题

我试了一下，运行时没有问题，下载的文件显示没有乱码
你是针对这些网页操作的吗

caesarok

你好! 我是针对这些网页操作

URL = r'http://djangobook.py3k.cn/chapter0%d'
用了r 字符串转换,其实 URL= r'http://djangobook.py3k.cn/chapter0%d' 不管怎么变, 都是 http://djangobook.py3k.cn 首页的内容,

下 http://djangobook.py3k.cn/chapter01 ~http://djangobook.py3k.cn/chapter09 这些文章,
却不行,

去掉 r 字符串转换,
结果是

1. 
   
2. > "C:\Python25\python.exe" -u "D:\python\python\network\test\get.py"
   
3. Traceback (most recent call last):
   
4.   File "D:\python\python\network\test\get.py", line 45, in <module>
   
5.     grabpage()
   
6.   File "D:\python\python\network\test\get.py", line 23, in grabpage
   
7.     data = unicode(data, coding)
   
8. UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 248: ordinal not in range(128)
   

复制代码

跟我之前一样,

[ 本帖最后由 caesarok 于 2009-8-6 10:14 编辑 ]

caesarok

1. 
   
2. #!/usr/bin/env python
   
3. #-*-coding:us-ascii
   
4. import urllib,time,os
   
5. import codecs
   
6. for i in range(1,10):
   
7.     data = urllib.urlopen('http://djangobook.py3k.cn/chapter0%d/'%i').read()
   
8.     #f=codecs.open('0%d.html'%i,'w','utf-8')
   
9.     f=open('0%d.html'%i,'w')
   
10.     f.writelines(data)
    
11.    
    
12.     f.close()
    
13.     time.sleep(1)
    
14.    
    
15. for j in range(10,21):
    
16.     data1 = urllib.urlopen('http://djangobook.py3k.cn/chapter%d/'%j).read()
    
17.     #g=codecs.open('0%d.html'%j,'w','utf-8')
    
18.     g=open('%d.html'%j,'w')
    
19.     f.writelines(data1)
    
20.     g.close()
    
21.     time.sleep(1)
    

复制代码

我下来的都是乱码,用us-ascii 没用

openspace

谢谢LZ提醒，忘了'r'了

是这样的，你用浏览器打开这些网页，看它们的源码
里面会指定字符编码charset
但是有的网页会进一步指定其他的charset

对于页面中这些charset的关系我不是太清楚
前面的例子默认使用了查找到的第一个charset设置，忽略了后面的charset设置，所以会导致解码错误

实际上这个功能类似于小型的爬虫
本人只是了解一下，但是涉及到HTML页面的，就不太理解了

LZ可以查看一下这方面的信息，再通过修改正则表达式进行匹配提取就可以了

PS: 弄清楚后顺便给讲讲:wink:

[ 本帖最后由 openspace 于 2009-8-6 10:30 编辑 ]

openspace

不好意思， 刚刚说错了，又看了一下，页面中就一个charset设置，在head中
比如<meta http-equiv="Content-type" content=
"text/html; charset=us-ascii" />
但是比较奇怪的是页面里面有中文编码，这就不知道怎么显示了

3227049

Content-Type        text/html; charset=utf-8

服务器发送的head头是优于html本身的head的