[C] 请教。关于汉字编码转换UTF-8->GB2312。 [复制链接]

论坛徽章:: 0

21楼 [报告]

发表于 2008-06-12 09:49 |只看该作者

原帖由 sanor 于 2008-6-11 13:27 发表
大家有做过这个的实现吗？UTF-8到GB2312的转换。
linux汉字编码为UTF-8，汉字库编码为GB2312。所以需要UTF-8到GB2312的转换。
交叉工具链中没有iconv函数，所以需要自己实现。网上搜到的全都是windows下的不可 ...

一般的转换都是先知道字符集然后转成UNICODE再转成别的字符集....
这个说的是相同的字,如果简体和繁体转就不是这么转了,就需要一个另外的映射表....

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

safedead

家境小康

论坛徽章:: 1

22楼 [报告]

发表于 2008-06-12 10:19 |只看该作者

研究过windows的字符集转换工具就知道
unicode是字符集转换的重要桥梁
很关键的，如果某个同型汉字在CJK中都存在，那么对应的unicode是一个
（题外话：韩国曾经干过烂事，搞过不兼容的事情）

unicode针对的是形状，每个unicode对应一个字符图形
在/usr/share/i18n/charmaps里面的是219个字符集对unicode转换表

话说win2000的nls文件比redhat7.2的i18n文件少很多字符集，而且缺字严重
我现在用RHEL5，windows2000之后的系统没有用过
最新的字符映射表可以去www.unicode.org下载

LINUX方面，利用i18n的项目提供的现成字符映射表可以省掉很多麻烦
下面是i18n中GB2312的一段文本，这个文本还看不懂的，就不要搞字符集转换程序了

<code_set_name> GB2312
<mb_cur_max> 2
<mb_cur_min> 1
<comment_char> %
<escape_char> /
% Chinese charmap for EUC-CN = GB2312 = union of ASCII and GB_2312-80
% version: 1.0
% Contact: ha_shao
% Email: hashao@china.com
% Distribution and use is free, even for comercial purpose.
%
CHARMAP
<U0000>    /x00       NULL (NUL)
<U0001>    /x01       START OF HEADING (SOH)
<U0002>    /x02       START OF TEXT (STX)
<U0003>    /x03       END OF TEXT (ETX)
<U0004>    /x04       END OF TRANSMISSION (EOT)
<U0005>    /x05       ENQUIRY (ENQ)
<U0006>    /x06       ACKNOWLEDGE (ACK)
<U0007>    /x07       BELL (BEL)
<U0008>    /x08       BACKSPACE (BS)
<U0009>    /x09       CHARACTER TABULATION (HT)
<U000A>    /x0a       LINE FEED (LF)
...
<U8584>    /xb1/xa1    <CJK>
<U96F9>    /xb1/xa2    <CJK>
<U4FDD>    /xb1/xa3    <CJK>
<U5821>    /xb1/xa4    <CJK>
<U9971>    /xb1/xa5    <CJK>
<U5B9D>    /xb1/xa6    <CJK>
<U62B1>    /xb1/xa7    <CJK>
<U62A5>    /xb1/xa8    <CJK>
...
注意CHARMAP开始，就是映射关系，
三个字段分别表示：unicode编码， C语言char数组元素，注释
排列顺序是按照GB2312