python中的i18n心得小节

unixlanser

1. 文件开头的 # coding=XXX
是告诉别人/解释器/文本编辑器本文件存储时所用的编码方式
若声明 # coding=utf8 则保存时一定注意存成utf8编码的文本文件
一般用 # coding=gbk 这样不但支持汉字也不需要刻意存储utf8

2. 编码(code)不等于编码点(unicode code point)
例如：汉字 “你”的unicode编码点为：U+4F60，utf8码为：e4 bd a0
print 输出是按照系统使用的编码页进行的，如果是中文windows系统则使用cp936，
所以一个 utf8 编码的汉字在 print前要先decode。
例如：
一个声明为 # coding=utf8 的文件中有汉字 a = '你'
在中文windows控制台下的python环境里
a                          # 输出：'\xe4\xbd\xa0'
print a                    # 输出：浣犲ソ
print a.decode('utf8')     # 输出：你

3. python控制台下的输入为当前系统编码页的对应码或unicode，unicode采用2字节码还是4字节码取决于python编译时的设置，一般为2字节码。
例如：
a = '你'                    # a的编码为'\xc4\xe3'
b = u'你'                   # b的编码为u'\u4f60'
print a, b                  # 输出均正确
b.encode('utf8')            # 得到 '\xe4\xbd\xa0'
a.decode('cp936').encode('utf8') == b.encode('utf8')    # True
值得注意的是：
a.decode('cp936')得到的是unicode。换言之，unicode并不是encode到的，即unicode不是一种编码方案，它是一个编码点表，各种编码方案安装这个表进行自己的映射，映射方法是encode('XXX')。
python内置的unicode方法也是上述映射的逆（另一个逆自然是decode），例如：
a = '你'
b = a.decode('cp936').encode('utf8')
unicode(a, 'cp936') == unicode(b, 'utf8')               # True


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/19962/showart_123926.html