关于未知编码文件名的处理

河边一支柳

最近碰到一个关于编码的问题，一直没有想到好的解决方法，请各位帮忙给点建议：

场景：
在Linux中，产品在处理完文件后，会将处理信息（包括文件名）包含在文本的log文件中，然后有一个线程会定期的从log文件中读取存储的处理信息，并发送给一个管理log的Server。可是问题出现了，在传输给Server的时候，必须将编码转换为ucs-4. 可是在转换某些编码文件名的时候会出现异常（我们使用的apache xerces的库），因为在转换的时候默认我们认为这个是UTF-8的编码。

问题：
因为在系统中，无法确定文件的编码格式，那么这个时候采取何种方式 进行转换呢？ 或者有没有其他的建议。


先谢谢大家了，如果没有说清楚的地方，有兴趣的可以在帖子中回复我。

bruceteen

未知编码的话，只能通过一段文字进行猜测，我以前做过，但忘了
1. windows下有相关API，忘了名字。（但这个API比较差，常常猜错，不建议使用）
2. 文件比较器、文件编辑器 等都集成这个功能，找个开源的文件比较器看看（多找几个，挑个最好的）

河边一支柳

bruceteen 发表于 2014-10-27 08:25
未知编码的话，只能通过一段文字进行猜测，我以前做过，但忘了
1. windows下有相关API，忘了名字。（但这个 ...

谢谢您的回复。
我当时也有想过，采用尝试试探出编码，找到一个stack overflow的帖子：http://stackoverflow.com/questio ... -of-a-string-in-c-c
因为文件名长度可能比较短，无法正确的解析出编码类型。一般文本编辑器猜的比较准，因为文本的样本比较多吧....


再后来我想了想，比如在系统中采用的默认编码是UTF-8，那么用“ls”命令显示出来的文件名，也是乱码，也就是说系统在解析文件名的时候也有一个解码的标准，那就是默认的UTF-8 (和locale有一定的关系). 那么我是这么想的，产品在显示文件名串的时候，也有一个基本的编码，我们产品采用的也是UTF-8 （即认为文件名的编码为UTF-8）.


现在我想采用的方式是：如果在转换UTF-8到UTF-16，出现编码不正确的异常的时候，我将原始字符串转换为ascii字符，超过127的字节采用'?'代替....

wgm001

enca 即可，字幕文件编码检测就是用这个的。

爻易

编码探测不是很可靠。要么你明确知道编码，要么就把编码信息写进文件。