linux c/c++ 字符串含中文的问题

FightForWin

大家好，请教大家一个问题，就是怎样确定一个字符串的编码，注意不是文件的，就是一个字符串。

是这样的，我从网络上收到一个数据包（通常是浏览器发过来的），其中有可能包含中文，
这样在处理时便会出问题，现在是要把网络上来的数据都转成utf-8编码。

所以请问对大家，有什么方法可以较快的确认一个字符串（就是网络上的数据包）的编码方式吗？

因为只有知道了字符串的编码方式，才能有效的对其进行 utf-8 编码，谢谢。。

环境为linux ,语言 C/C++

谢谢!

FightForWin

网上找到一些资料，先摆这，明天再研究了，大家有什么想法就说一下

以下来源：http://topic.csdn.net/u/20090204 ... a-42e211015e12.html 96楼。

查了一下，找到了这个猜字符编码的算法代码，叫chartdet 它是mozilla firefox使用的自动字符集探测算法

这个算法的最初作者是frank Tang,C++源代码在http://lxr.mozilla.org/mozilla/source/intl/chardet/，可以从http://www.mozilla.org/projects/intl/chardet.html得到更多关于这个算法的信息。


jchardet是mozilla自动字符集探测算法代码的java移植,其源代码可以从sourceforge下载

nketc

icu 里面也有猜测编码的方法。

浏览器传过来的话，html标签里有啊，lz干嘛不用？

FightForWin

icu 里面也有猜测编码的方法。

浏览器传过来的话，html标签里有啊，lz干嘛不用？
nketc 发表于 2011-04-06 23:43

谢谢，浏览器里有吗？
accept-encoding字段？这个字段有时候是 */*   ,没法用吧？

FightForWin

用libconv
如果已经是utf-8编码，再转是不会变的，然后比较2个字符串是否相当。
c/unix 发表于 2011-04-07 08:45

    谢谢，我查了一下，libconv是用于已知原字符串编码的转换，但我现在关键是不知道源字符串的编码，这样也就无法确认调用哪个编码转换函数。
有这方面的经验不？请指教一下。
谢谢。

cobras

可以采用假设测试算法：先假设一种算法然后将一段内容转换为unicode，然后再转换回，比较结果与原来的编码，如果相同，则假设成立。如果选取的内容为全部，则可以保证100%正确，但是部分选取则可能假设失败。

nizvoo

猜測

nketc

回复 5# FightForWin


    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />
是html吗？这个标签里有。

FightForWin

回复  FightForWin


   
是html吗？这个标签里有。
nketc 发表于 2011-04-07 17:54

    你好，非常感谢。
但这种形式的包好像只存在于服务器的应答包里，客户发出的请求包并不包含这些数据。