python 打开文件后的编码?

lioujian47

原帖由 retuor 于 2008-8-15 11:06 发表
我测试是正常的，不会 split 成一个一个字。


#!/usr/bin/env python                                                           
#-*- coding:utf-8 -*-                                              ...

见附件

lioujian47

原帖由 retuor 于 2008-8-15 11:06 发表
我测试是正常的，不会 split 成一个一个字。


#!/usr/bin/env python                                                           
#-*- coding:utf-8 -*-                                              ...

与split()无关吧?
但是你真正用到re.search(line,html)的时候,就只是一个字了,你打印的话当然是一行一行的打印的.

看这个例子就明白:

>>> st = "Python Is A Great Programming Language!" >>> for c in st: ...     print c, ... P y t h o n   I s   A   G r e a t   P r o g r a m m i n g   L a n g u a g e ! >>> count = 0 >>> for c in st: ...     if c in "aeiou": ...         count += 1 ... else: ...     print count ... 10

retuor

line 作为 print 的参数和作为 re.search 的参数，其值都是一样的。

你 search 失败是因为 windows 文本的换行是 '\r\n' 而不是 '\n'，所以 split 的参数应该为 '\r\n'.

1. 
   
2. #!/usr/bin/env python                                                           
   
3. #-*- coding:utf-8 -*-                                                           
   
4. 
   
5. import re
   
6. 
   
7. html="xxxx xxxx 左小蕾 xxxxxxxx"
   
8. myfile=open("a.txt")
   
9. str=myfile.read()
   
10. a_file=str.decode("gb2312", "ignore").encode("utf-8")
    
11. for line in a_file.split('\r\n'):
    
12.         if re.search(line, html):
    
13.                 print line
    
14.         else:
    
15.                 print "无"
    

复制代码

输出为：

....
无
无
无
无
无
左小蕾

retuor

如果你在 unix 下开发，可以先用 tr 删除 \r，然后用 iconv 转编码为 utf8。那就不用在 python 里处理这些细节了。

1. 
   
2. cat a.txt | tr -d '\r' | iconv -f gbk -t utf8 > b.txt
   

复制代码

lioujian47

我在windows下..........
需要处理细节....
你转换出来的a.txt没有部分乱码吗?
我这里有

lioujian47

我试试,现在服务器有问题,暂时没法测试

retuor

原帖由 lioujian47 于 2008-8-15 14:45 发表
我在windows下..........
需要处理细节....
你转换出来的a.txt没有部分乱码吗?
我这里有

我这里没有乱码。

windows 上有些编辑器对 utf8 支持不好，可能会出现乱码。

lioujian47

我转换之后出现了乱码

绉﹀畯
绉︽椽
绉︾倻

lioujian47

我用的是idle python

lioujian47

我直接用记事本另存为utf-8格式的也有部分乱码发生....
唉,,,如何是好啊