大侠请进：如何在英文和中文之间加入分隔符

limodou

不是已经说了嘛，使用unicode呀。因为unicode的一个字符就表示一个完整的汉字。而gbk汉字的话两个字符是一个汉字。如果使用gbk来处理的话，那么你要两个字符两个字符来处理，这样才是完整的。　

limodou

1. 
   
2. #coding=gbk
   
3. 
   
4. a = u'【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict 【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict'
   
5. 
   
6. FLAG_WORD = 1
   
7. FLAG_PINYIN = 2
   
8. FLAG_ZH = 3
   
9. FLAG_EN = 4
   
10. tags = {
    
11.     FLAG_WORD:('<w>', '</w>'),
    
12.     FLAG_PINYIN:('<p>', '</p>'),
    
13.     FLAG_ZH:('<zh>', '</zh>'),
    
14.     FLAG_EN:('<en>', '</en>')
    
15. }
    
16. 
    
17. flag = -1
    
18. i = 0
    
19. s = [] #结果
    
20. buf = [] #缓冲区
    
21. pinyin = u'ｄǐｗǔ' + ' '
    
22. last_begin_tag = ''
    
23. last_flag = flag
    
24. while i<len(a):
    
25.     if a[i] == u'【': #开始处理单词
    
26.         #判断buf是否有内容，有则输出，同时注意结束tag
    
27.         if buf:
    
28.             b, e = tags[last_flag]
    
29.             buf.append(e)
    
30.             s.append(''.join(buf))
    
31.             buf = []
    
32.         flag = FLAG_WORD
    
33.         buf.append(a[i])
    
34.         i += 1
    
35.         while i < len(a) and a[i] != u'】':
    
36.             buf.append(a[i])
    
37.             i += 1
    
38.         #将】也加到缓冲区中
    
39.         buf.append(a[i])
    
40.         i += 1
    
41.         b, e = tags[flag]
    
42.         s.append(b + ''.join(buf) + e)
    
43.         
    
44.         #开始处理拼音
    
45.         flag = FLAG_PINYIN
    
46.         buf = []
    
47.         while i<a[i] and a[i] in pinyin:
    
48.             buf.append(a[i])
    
49.             i += 1
    
50.         b, e = tags[flag]
    
51.         s.append(b + ''.join(buf).strip() + e) #使用strip去掉多余的首尾空格
    
52.         last_flag = flag
    
53.         buf = []
    
54.         continue
    
55.     else:
    
56.         if ord(a[i]) < 127: #英文
    
57.             flag = FLAG_EN
    
58.         else:
    
59.             flag = FLAG_ZH
    
60.         if last_flag != flag:
    
61.             #判断是否上一个标志是否是中或英文，如果不是表示第一次进入则输出开始tag，
    
62.             #否则先输出上一个的结束tag，然后是一个开始tag
    
63.             if last_flag in (FLAG_ZH, FLAG_EN):
    
64.                 b, e = tags[last_flag]
    
65.                 buf.append(e)
    
66.             b, e = tags[flag]
    
67.             buf.append(b)
    
68.             buf.append(a[i])
    
69.             last_flag = flag
    
70.         else:
    
71.             buf.append(a[i])
    
72.     i += 1
    
73. 
    
74. if buf:
    
75.     b, e = tags[last_flag]
    
76.     buf.append(e)
    
77.     s.append(''.join(buf))
    
78.         
    
79. print ''.join([x.encode('gbk') for x in s])
    

复制代码

这里我没有从文件中读出文本，直接使用了一个unicode串来处理的。而且可以处理多个汉语词组。因此最开始可以：

text = file('a.txt').read() #这样把文本全部读出来
然后转化为unicode

a = unicode(text, 'gbk')

limodou

有可能是你的文件有无法识别的汉字。可以考虑把示例的文本写入一个文件，用它先试一下。如果没有问题，那就考虑文件中的汉字有非法的。那可以考虑使用utf-8来处理了。但代码中有一处要转为gbk编码的也要转为utf-8才行。

limodou

存成文本的编码要与你转码的编码要一致。比如使用utf-8转码，那文本就需要是utf-8的。如果是gbk转码，那文本就需要是gbk的。不是简单地存一下就行的。

limodou

希望你的python能更上一层楼。