
平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 关于windows-1251字符集检测和转码utf-8的问题

12 / 2 页下一页

[C] 关于windows-1251字符集检测和转码utf-8的问题 [复制链接]

yuleyouxi

白手起家

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2013-05-22 17:42 |只看该作者 |倒序浏览

本帖最后由 yuleyouxi 于 2013-05-22 17:44 编辑

android手机，客户要求音乐的专辑歌手等信息支持俄罗斯一种本地编码windows-1251
就是和这个帖子是一样的需求：http://bbs.chinaunix.net/thread-3777433-1-1.html（避免挖坟，另开一贴吧）

@mci2004，当时你是怎么解决这个问题的，请指点下，非常感谢！
本来想发短消息的，奈何还没这权限。。。

文库|博客

mci2004

家境小康

论坛徽章:: 3

10楼 [报告]

发表于 2013-05-25 22:53 |只看该作者

lz 我给你发私信了，收到了吗？

私信的原因倒不是保密，而是我觉得我的方法很sb，不好意思拿出来说。

现在，转而一想，应该发出来的，让大家指点下，或者欢乐下...

当时做法非常的SB，以至于到现在都BS自己。
我来说下吧。

1，mp3的歌曲信息从ID3 tag开始，android上相应的问题是 ID3.cpp。所以加字符编码的支持从这里开始改。

2，android上自带了一个 icu4c的库，这个库是IBM做的专门用来做字符转码的。所以我们的转码就要用它了。

3，如何判断一个mp3文件是否是 1251呢？这里，就是我觉得非常SB的地方了，判断方法如下：

   如果发现当前所处的locale是 russian等地（用cryrillic字符集的地区），就把所有的单字节字符当1251转成utf8，就用前面提到的icu4c的库。

这样的转的话，对 latin1语系的字符就毁了，但是对于中，日，韩等文字可以幸免！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

yuleyouxi

白手起家

论坛徽章:: 0

11楼 [报告]

发表于 2013-05-27 16:05 |只看该作者

mci2004 发表于 2013-05-25 22:53
lz 我给你发私信了，收到了吗？

私信的原因倒不是保密，而是我觉得我的方法很sb，不好意思拿出来说。
...

我前两天再看了下，我在想能不能像处理GBK一样处理呢？windows-1251也是有一个范围的，是不是可以根据这个来判断是不是这个字符集然后再来转换呢？

yuleyouxi

白手起家

论坛徽章:: 0

12楼 [报告]

发表于 2013-05-28 10:52 |只看该作者

mci2004 发表于 2013-05-25 22:53
lz 我给你发私信了，收到了吗？

私信的原因倒不是保密，而是我觉得我的方法很sb，不好意思拿出来说。
...

ISO 8859各个体系都是只用00-FF表示，貌似也只能用local来判断了，要不谁知道是用的ISO8859-1还是ISO8859-5啊。。。另外，再ID3.cpp中看到用0x00 0x02 0x03分别表示ISO8858-1 UTF-16 UTF-8,那是不是还有别的数字表示别的语言呢？可惜网上没找到这块资料说明这个数字有哪些选择。。。

mci2004

家境小康

论坛徽章:: 3

13楼 [报告]

发表于 2013-05-28 14:56 |只看该作者

回复 12# yuleyouxi

没有办法判断出俄语，原因很简单，俄语是单字节的，和中，日，韩的语言文字不一样，他们都是双字节表示。

确定中，日，韩这些字符集的方法也很简单，就是去查一张表，然后根据命中情况得出一个 confidence，然后就认为当前的文字和confidence最大者一致。

如果想判断出俄语，可以用上面类似的方法，但是单字节的字符集，文字太少了，而且前面的128个字符和ascii保持一致，比如我想“猜”这个字符串（包含5个字符）是 latin1 还是1251。很可能这5个字符的表示方式即出现在latin1中又出现在1251中。所以，没法区分开。（我试过，效果很差）

lz，可以出查一下这两种（latin1 和1251）的code page，你就明白了....

lz，我说明白了吗？也许是我的方法有问题，你可以想个更好的，到时候跟我分享下哈。。。。