大侠请进：如何在英文和中文之间加入分隔符

tikico

原帖由 limodou 于 2006-3-8 17:47 发表
有可能是你的文件有无法识别的汉字。可以考虑把示例的文本写入一个文件，用它先试一下。如果没有问题，那就考虑文件中的汉字有非法的。那可以考虑使用utf-8来处理了。但代码中有一处要转为gbk编码的也要转为utf-8 ...

我就把
【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict
存成文本也不行，错误一样，应该不是修改编码能解决的，因为直接处理上面一行没问题。
还是试一下，改成了utf8，cp936,果然还是不行，报错：

1. 
   
2. Traceback (most recent call last):
   
3.   File "C:\Python24\limodou.py", line 5, in -toplevel-
   
4.     a = unicode(test,'utf8')
   
5.   File "C:\Python24\lib\encodings\utf_8.py", line 16, in decode
   
6.     return codecs.utf_8_decode(input, errors, True)
   
7. UnicodeDecodeError: 'utf8' codec can't decode byte 0xa0 in position 0: unexpected code byte
   

复制代码

limodou

存成文本的编码要与你转码的编码要一致。比如使用utf-8转码，那文本就需要是utf-8的。如果是gbk转码，那文本就需要是gbk的。不是简单地存一下就行的。

tikico

基本搞定了，感谢limodou大侠这么久以来的耐心的教授。
明年央视《感动中国》我题名您上，再次感谢！

limodou

希望你的python能更上一层楼。