大侠请进：如何在英文和中文之间加入分隔符

limodou

list_py=u'ａｂ' #这是一个unicode字符串
eachline=unicode(eachline, 'gbk') #这是将eachline转为unicode

tikico

原帖由 limodou 于 2006-3-7 15:05 发表
list_py=u'ａｂ' #这是一个unicode字符串
eachline=unicode(eachline, 'gbk') #这是将eachline转为unicode

按您的方法报错：

1.     eachline = unicode(eachline,'gbk')
   
2. UnicodeDecodeError: 'gbk' codec can't decode bytes in position 316-317: illegal multibyte sequence

复制代码

另外您的那个方法：
while eachline in pinyin +'':  
其中的pinyin是list还是string啊？对于一个字符串可以get_next_char()吗，是得到的下一个字节还是下一个字符？

limodou

UnicodeDecodeError: 'gbk' codec can't decode bytes in position 316-317: illegal multibyte sequence

这可能是你没有设置程序的编码，如在最开始加上：

1. 
   
2. #coding=gbk
   

复制代码

1. 
   
2. pinyin +''
   

复制代码

当然是一个字符串了。因此这个方法需要使用unicode。而get_next_char()不是指的pinyin这个串，是指你要处理的字典翻译文本。

tikico

还是不行，不知道怎么能让汉语拼音能像普通字母那样处理，
如：str1='ａ ｂ'
str1[i] = ''ａ',那就简单多了。郁闷一个星期了。

limodou

不是已经说了嘛，使用unicode呀。因为unicode的一个字符就表示一个完整的汉字。而gbk汉字的话两个字符是一个汉字。如果使用gbk来处理的话，那么你要两个字符两个字符来处理，这样才是完整的。　

tikico

原帖由 limodou 于 2006-3-8 14:59 发表
不是已经说了嘛，使用unicode呀。因为unicode的一个字符就表示一个完整的汉字。而gbk汉字的话两个字符是一个汉字。如果使用gbk来处理的话，那么你要两个字符两个字符来处理，这样才是完整的。　

估计您也烦躁了，我自以为不是太笨，找了一些python中unicode的资料，还是不得要领。简单直接点问您吧，我有一行文本：
【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict
保存在test.txt中，请问您要如何读取，然后如何操作（能把汉字和拼音像abcd一样处理），最好您就直接写段代码，将test.txt中的文本变成:
【牴牾】 <p>ｄǐｗǔ</p> 抵牾 contradiction; conflict
我菜不是问题，问题是菜了还不承认。您也不要再教导了，如果我看不懂代码再来请教，谢谢！

limodou

1. 
   
2. #coding=gbk
   
3. 
   
4. a = u'【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict 【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict'
   
5. 
   
6. FLAG_WORD = 1
   
7. FLAG_PINYIN = 2
   
8. FLAG_ZH = 3
   
9. FLAG_EN = 4
   
10. tags = {
    
11.     FLAG_WORD:('<w>', '</w>'),
    
12.     FLAG_PINYIN:('<p>', '</p>'),
    
13.     FLAG_ZH:('<zh>', '</zh>'),
    
14.     FLAG_EN:('<en>', '</en>')
    
15. }
    
16. 
    
17. flag = -1
    
18. i = 0
    
19. s = [] #结果
    
20. buf = [] #缓冲区
    
21. pinyin = u'ｄǐｗǔ' + ' '
    
22. last_begin_tag = ''
    
23. last_flag = flag
    
24. while i<len(a):
    
25.     if a[i] == u'【': #开始处理单词
    
26.         #判断buf是否有内容，有则输出，同时注意结束tag
    
27.         if buf:
    
28.             b, e = tags[last_flag]
    
29.             buf.append(e)
    
30.             s.append(''.join(buf))
    
31.             buf = []
    
32.         flag = FLAG_WORD
    
33.         buf.append(a[i])
    
34.         i += 1
    
35.         while i < len(a) and a[i] != u'】':
    
36.             buf.append(a[i])
    
37.             i += 1
    
38.         #将】也加到缓冲区中
    
39.         buf.append(a[i])
    
40.         i += 1
    
41.         b, e = tags[flag]
    
42.         s.append(b + ''.join(buf) + e)
    
43.         
    
44.         #开始处理拼音
    
45.         flag = FLAG_PINYIN
    
46.         buf = []
    
47.         while i<a[i] and a[i] in pinyin:
    
48.             buf.append(a[i])
    
49.             i += 1
    
50.         b, e = tags[flag]
    
51.         s.append(b + ''.join(buf).strip() + e) #使用strip去掉多余的首尾空格
    
52.         last_flag = flag
    
53.         buf = []
    
54.         continue
    
55.     else:
    
56.         if ord(a[i]) < 127: #英文
    
57.             flag = FLAG_EN
    
58.         else:
    
59.             flag = FLAG_ZH
    
60.         if last_flag != flag:
    
61.             #判断是否上一个标志是否是中或英文，如果不是表示第一次进入则输出开始tag，
    
62.             #否则先输出上一个的结束tag，然后是一个开始tag
    
63.             if last_flag in (FLAG_ZH, FLAG_EN):
    
64.                 b, e = tags[last_flag]
    
65.                 buf.append(e)
    
66.             b, e = tags[flag]
    
67.             buf.append(b)
    
68.             buf.append(a[i])
    
69.             last_flag = flag
    
70.         else:
    
71.             buf.append(a[i])
    
72.     i += 1
    
73. 
    
74. if buf:
    
75.     b, e = tags[last_flag]
    
76.     buf.append(e)
    
77.     s.append(''.join(buf))
    
78.         
    
79. print ''.join([x.encode('gbk') for x in s])
    

复制代码

这里我没有从文件中读出文本，直接使用了一个unicode串来处理的。而且可以处理多个汉语词组。因此最开始可以：

text = file('a.txt').read() #这样把文本全部读出来
然后转化为unicode

a = unicode(text, 'gbk')

tikico

limodou大侠真是热心，好感动！您的代码已经超出我的要求，呵呵，谢谢先！
您的代码肯定是没问题的，但我按您的提示，修改a：

1. 
   
2. text=file('outputfile.txt').read()
   
3. a= unicode(text,'gbk')
   

复制代码

结果报错：

1. 
   
2. Traceback (most recent call last):
   
3.   File "C:/Python24/limodou.py", line 5, in -toplevel-
   
4.     a= unicode(text,'gbk')
   
5. UnicodeDecodeError: 'gbk' codec can't decode bytes in position 266-267: illegal multibyte sequence
   

复制代码

这也是我一直郁闷的，我原来一直用的是直接定义字符串，调试unicode没问题，但是一旦读文件，再转unicode就报错，是不是我的编译环境问题啊？

limodou

有可能是你的文件有无法识别的汉字。可以考虑把示例的文本写入一个文件，用它先试一下。如果没有问题，那就考虑文件中的汉字有非法的。那可以考虑使用utf-8来处理了。但代码中有一处要转为gbk编码的也要转为utf-8才行。

tikico

好的，我再试试！