关于读取中文文件的问题

jeanlove

如题，我有一个纯文本的文件是txt格式的，里面的内容是中文。
那么，像vim/notepad之类的软件，如何知道我的这些文本是什么编码? 是ASCII的还是Unicode16的还是UTF-8的还是Big5的还是GB2312的? 它能正确判断么?

这几种编码如果不事先知道的话，是不是根据2进制内容本身无法完全区分，可能显示乱码?

谢谢!!!!

ubuntuer

没听过编码元信息这么一说^_^,
Linux中默认文件名编码为UTF8,windows的文件名编码默认为GBK,由于编码不一致，所以导致了文件名乱码的问题.也就说linux下都是默认一utf8的方式打开文件。
VIM可以用:set fileencoding查看文件编码
~/.vimrc 文件中添加以下内容：
set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样，就可以让vim自动识别文件编码（可以自动识别UTF-8或者GBK编码的文件），其实就是依照fileencodings提供的编码列表尝试，如果没有找到合适的编码，就用latin-1(ASCII)编码打开

enca 查看文件编码
iconv/enconv 转换文件编码转换

slow_hand

原帖由 jeanlove 于 2009-11-27 11:16 发表
如题，我有一个纯文本的文件是txt格式的，里面的内容是中文。
那么，像vim/notepad之类的软件，如何知道我的这些文本是什么编码? 是ASCII的还是Unicode16的还是UTF-8的还是Big5的还是GB2312的? 它能正确判断么 ...

可以存成不同编码格式的文件，您可以新建一个txt文件试一下，可以选择编码格式的。格式信息存在文件的元信息里面，是文件的一部分。

jeanlove

原帖由 slow_hand 于 2009-11-27 11:21 发表

可以存成不同编码格式的文件，您可以新建一个txt文件试一下，可以选择编码格式的。格式信息存在文件的元信息里面，是文件的一部分。

为何有元信息? 纯文本文件应该是从第一个字节开始就是文本自身啊。元信息在哪里?
谢谢

slow_hand

原帖由 jeanlove 于 2009-11-27 11:43 发表


为何有元信息? 纯文本文件应该是从第一个字节开始就是文本自身啊。元信息在哪里?
谢谢

文件的元信息就是文件的属性。比如所有者，文件类型，读写执行属性，修改时间，访问时间，创建时间等等。
在Linux里面，这些是存在文件系统的i节点里面的。您可以参考下这儿的解释：http://baike.baidu.com/view/1097021.htm

slow_hand

原帖由 ubuntuer 于 2009-11-27 12:26 发表
没听过编码元信息这么一说^_^,
Linux中默认文件名编码为UTF8,windows的文件名编码默认为GBK,由于编码不一致，所以导致了文件名乱码的问题.也就说linux下都是默认一utf8的方式打开文件。
VIM可以用:set fileen ...

嗯，是我弄错了
编码信息取决于文本编辑器采用何种编码格式，不是存在文件自己的元信息里的。

ziggler

http://www.javaeye.com/topic/264991