大侠请进：如何在英文和中文之间加入分隔符

tikico

小弟目前在用python处理一份txt文件，中英文夹杂，目前一个关键问题是想在中文和英文之间加上标记，最好能变成xml的格式，例如：

1. 【地板】 ｄìｂǎｎ ? 室内铺在地面上的木板，有时也指木质楼板flooring; wooden board laid
   
2. on the floor; wooden floor ?
   
3. 我的目标是变成：
   
4. <w>【地板】</w><p> ｄìｂǎｎ</p><chexp>室内铺在地面上的木板，有时也指木质楼板</chexp><enexp>flooring; wooden board laid
   
5. on the floor; wooden floor </enexp>
   

复制代码

哪位大侠给点提示，不胜感激！

[ 本帖最后由 wolfg 于 2006-2-27 21:27 编辑 ]

limodou

希望你的python能更上一层楼。

tikico

基本搞定了，感谢limodou大侠这么久以来的耐心的教授。
明年央视《感动中国》我题名您上，再次感谢！

limodou

存成文本的编码要与你转码的编码要一致。比如使用utf-8转码，那文本就需要是utf-8的。如果是gbk转码，那文本就需要是gbk的。不是简单地存一下就行的。

tikico

原帖由 limodou 于 2006-3-8 17:47 发表
有可能是你的文件有无法识别的汉字。可以考虑把示例的文本写入一个文件，用它先试一下。如果没有问题，那就考虑文件中的汉字有非法的。那可以考虑使用utf-8来处理了。但代码中有一处要转为gbk编码的也要转为utf-8 ...

我就把
【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict
存成文本也不行，错误一样，应该不是修改编码能解决的，因为直接处理上面一行没问题。
还是试一下，改成了utf8，cp936,果然还是不行，报错：

1. 
   
2. Traceback (most recent call last):
   
3.   File "C:\Python24\limodou.py", line 5, in -toplevel-
   
4.     a = unicode(test,'utf8')
   
5.   File "C:\Python24\lib\encodings\utf_8.py", line 16, in decode
   
6.     return codecs.utf_8_decode(input, errors, True)
   
7. UnicodeDecodeError: 'utf8' codec can't decode byte 0xa0 in position 0: unexpected code byte
   

复制代码

tikico

好的，我再试试！

limodou

有可能是你的文件有无法识别的汉字。可以考虑把示例的文本写入一个文件，用它先试一下。如果没有问题，那就考虑文件中的汉字有非法的。那可以考虑使用utf-8来处理了。但代码中有一处要转为gbk编码的也要转为utf-8才行。

tikico

limodou大侠真是热心，好感动！您的代码已经超出我的要求，呵呵，谢谢先！
您的代码肯定是没问题的，但我按您的提示，修改a：

1. 
   
2. text=file('outputfile.txt').read()
   
3. a= unicode(text,'gbk')
   

复制代码

结果报错：

1. 
   
2. Traceback (most recent call last):
   
3.   File "C:/Python24/limodou.py", line 5, in -toplevel-
   
4.     a= unicode(text,'gbk')
   
5. UnicodeDecodeError: 'gbk' codec can't decode bytes in position 266-267: illegal multibyte sequence
   

复制代码

这也是我一直郁闷的，我原来一直用的是直接定义字符串，调试unicode没问题，但是一旦读文件，再转unicode就报错，是不是我的编译环境问题啊？

limodou

1. 
   
2. #coding=gbk
   
3. 
   
4. a = u'【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict 【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict'
   
5. 
   
6. FLAG_WORD = 1
   
7. FLAG_PINYIN = 2
   
8. FLAG_ZH = 3
   
9. FLAG_EN = 4
   
10. tags = {
    
11.     FLAG_WORD:('<w>', '</w>'),
    
12.     FLAG_PINYIN:('<p>', '</p>'),
    
13.     FLAG_ZH:('<zh>', '</zh>'),
    
14.     FLAG_EN:('<en>', '</en>')
    
15. }
    
16. 
    
17. flag = -1
    
18. i = 0
    
19. s = [] #结果
    
20. buf = [] #缓冲区
    
21. pinyin = u'ｄǐｗǔ' + ' '
    
22. last_begin_tag = ''
    
23. last_flag = flag
    
24. while i<len(a):
    
25.     if a[i] == u'【': #开始处理单词
    
26.         #判断buf是否有内容，有则输出，同时注意结束tag
    
27.         if buf:
    
28.             b, e = tags[last_flag]
    
29.             buf.append(e)
    
30.             s.append(''.join(buf))
    
31.             buf = []
    
32.         flag = FLAG_WORD
    
33.         buf.append(a[i])
    
34.         i += 1
    
35.         while i < len(a) and a[i] != u'】':
    
36.             buf.append(a[i])
    
37.             i += 1
    
38.         #将】也加到缓冲区中
    
39.         buf.append(a[i])
    
40.         i += 1
    
41.         b, e = tags[flag]
    
42.         s.append(b + ''.join(buf) + e)
    
43.         
    
44.         #开始处理拼音
    
45.         flag = FLAG_PINYIN
    
46.         buf = []
    
47.         while i<a[i] and a[i] in pinyin:
    
48.             buf.append(a[i])
    
49.             i += 1
    
50.         b, e = tags[flag]
    
51.         s.append(b + ''.join(buf).strip() + e) #使用strip去掉多余的首尾空格
    
52.         last_flag = flag
    
53.         buf = []
    
54.         continue
    
55.     else:
    
56.         if ord(a[i]) < 127: #英文
    
57.             flag = FLAG_EN
    
58.         else:
    
59.             flag = FLAG_ZH
    
60.         if last_flag != flag:
    
61.             #判断是否上一个标志是否是中或英文，如果不是表示第一次进入则输出开始tag，
    
62.             #否则先输出上一个的结束tag，然后是一个开始tag
    
63.             if last_flag in (FLAG_ZH, FLAG_EN):
    
64.                 b, e = tags[last_flag]
    
65.                 buf.append(e)
    
66.             b, e = tags[flag]
    
67.             buf.append(b)
    
68.             buf.append(a[i])
    
69.             last_flag = flag
    
70.         else:
    
71.             buf.append(a[i])
    
72.     i += 1
    
73. 
    
74. if buf:
    
75.     b, e = tags[last_flag]
    
76.     buf.append(e)
    
77.     s.append(''.join(buf))
    
78.         
    
79. print ''.join([x.encode('gbk') for x in s])
    

复制代码

这里我没有从文件中读出文本，直接使用了一个unicode串来处理的。而且可以处理多个汉语词组。因此最开始可以：

text = file('a.txt').read() #这样把文本全部读出来
然后转化为unicode

a = unicode(text, 'gbk')

tikico

原帖由 limodou 于 2006-3-8 14:59 发表
不是已经说了嘛，使用unicode呀。因为unicode的一个字符就表示一个完整的汉字。而gbk汉字的话两个字符是一个汉字。如果使用gbk来处理的话，那么你要两个字符两个字符来处理，这样才是完整的。　

估计您也烦躁了，我自以为不是太笨，找了一些python中unicode的资料，还是不得要领。简单直接点问您吧，我有一行文本：
【牴牾】 ｄǐｗǔ 抵牾 contradiction; conflict
保存在test.txt中，请问您要如何读取，然后如何操作（能把汉字和拼音像abcd一样处理），最好您就直接写段代码，将test.txt中的文本变成:
【牴牾】 <p>ｄǐｗǔ</p> 抵牾 contradiction; conflict
我菜不是问题，问题是菜了还不承认。您也不要再教导了，如果我看不懂代码再来请教，谢谢！