关于检测文本文件的编码方式的问题

davidbrook

我又一批文本文件，编码方式是shift-jis，想它转换成utf-8。\r\niconv -f shift-jis -t utf-8 filename\r\n但是如果其中某些文件已经是utf-8编码方式，那么我执行上述的命令就会出现文本中的内容乱码。\r\n我想请教一下：unix下是否有命令或者简单的用shell处理一下就可以得到文本的编码方式。\r\n需要用perl或者python的BOM读取文件才能知道吗？

tyrone.dev

正常情况可以使用文本的前三个字节来确定当前的编码。但不一定是完全正确的，有些程序生成文本时可能没有加上这三个前导符。