Perl 的 utf8 与编码处理 [复制链接]

黑色阳光_cu

白手起家

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-07-18 07:09 |只看该作者 |倒序浏览

本帖最后由黑色阳光_cu 于 2010-07-18 07:39 编辑

Perl 的 utf8 与编码处理
　　本文基于笔者查阅的 perldoc 和试验结果。鉴于经常有人被编码问题困扰，现笔者把所了解的关于 Perl utf8 与编码处理的资料总结一下。由于所知有限，可能会有讲错的地方，如有需要，可自行查阅：
perldoc Encode
perldoc PerlIO
perldoc utf8
perldoc encoding

下面用到这几个函数，能提供有用的帮助：
Encode::is_utf8($str) # 当字符串 utf8 flag 为on时，返回真，否则返为假
utf8::is_utf8($str) # 同上
Encode::_utf8_on($str) # 手工设置 utf8 flag 为on
Encode::_utf8_off($str) # 手工设置 utf8 flag 为off
PerlIO::get_layers(FP) # 得到语柄的 layers
　　

一. 基本概念
　　Perl 以 ascii 方式或者 utf8 方式解释字符串，取决 Perl 字符串内部的 utf8 flag ，utf8 flag 影响着 Perl 对字符的定义。以下代码演示 utf8 flag 的影响：

#!/bin/env perl
# fileencoding: utf8
# termencoding: gbk
use strict;
use warnings;
use Encode;
use Encode::CN;
my $str = "中文字符串";
&testing($str);
Encode::_utf8_on($str);
&testing($str);
sub testing
{
my ($str) = @_;
if (Encode::is_utf8($str))
{
print "utf8: Yes\n";
}
else
{
print "utf8: No\n";
}
print "Length: ", length($str), "\n";
while ($str =~ /(.)/g)
{
print encode("gbk", $1), " ";
}
print "\n\n";
}

复制代码

输出结果为：
utf8: No
Length: 15
? ? - ? ? ? ? - ? ? ? | ? ? 2

utf8: Yes
Length: 5
中文字符串

可以看到，当 utf8 flag 为 off 时，字符串按 ascii 处理；当为 on 时，则按 utf8 处理。注意 utf8 flag 跟字符串是否真为 utf8 编码无关，当字符串 utf8 flag 为 on 但非 utf8 编码时，print 会提示非法 utf8 字符。

二. Encode::encode ，Encode::decode ，PerlIO encoding layer
　　当 decode(ENCODING, $str) 时，字符串被按 ENCODING 解码为 utf8 编码并设置 utf8 flag 为 on ；当 encode(ENCODING, $str) 时，字符串被从 utf8 编码重新编码为 ENCODING 并设置 utf8 flag 为 off ；假如原字符串为 utf8 编码，而 Encode::_utf8_on($str) ，Encode::_utf8_off($str) 分别和 $str = decode("utf8", $str) ，$str = encode("utf8", $str) 起的作用一致，但速度更快。
　　可以给文件句柄加上 encoding(ENCODING) 的 layer ，则会在读入或者输出时自动处理。比如 open(FILE, "<+:encoding(gbk)", $location) 或者 binmode(FILE, ":encoding(gbk)") 时，则会在读入时自动调用 decode("gbk", ...) ，输出时自动调用 encode("gbk", ...) 。

三. use utf8 progma 与 use encoding ENCODING progma
　　当 use utf8 时，脚本里的字符串，若包含非 ascii 字符，而自动设置字符串 utf8 flag 为 on ：

#!/bin/env perl
# fileencoding: utf8
# termencoding: gbk
use strict;
use warnings;
use utf8;
my $str = "abcd";
my $str2 = "甲乙丙丁";
foreach ($str, $str2)
{
if (utf8::is_utf8($_))
{
print "Yes\n";
}
else
{
print "No\n";
}
}

复制代码

输出结果为：
No
Yes

而 use encoding ENCODING 允许脚本为 ENCODING 编码而非一定为 utf8 编码。脚本里的字符串，自动按 ENCODING 转化为 utf8 编码并设置 utf8 flag 为 on ，就像自动调用了 decode(ENCODING, $str) 般，并自动给 STDIN 和 STDOUT 加上 encode(ENCODING) 的 layer ：

#!/bin/env perl
# fileencoding: gbk
# termencoding: gbk
use strict;
use warnings;
use encoding "gbk";
my $str = "abcd";
my $str2 = "甲乙丙丁";
foreach ($str, $str2)
{
if (utf8::is_utf8($_))
{
print "Yes\n";
}
else
{
print "No\n";
}
}
print "\n";
print STDOUT $str2, "\n";
print STDERR $str2, "\n";
print "\n";
binmode(STDERR, ":encoding(gbk)");
print STDOUT $str2, "\n";
print STDERR $str2, "\n";

复制代码

输出结果为：
Yes
Yes

甲乙丙丁
Wide character in print at D:\test.pl line 26.
鐢蹭箼涓欎竵

甲乙丙丁
甲乙丙丁

$str 和 $str2 的 utf8 flag 都为 on，由于 STDERR 没有被自动设置 encoding(ENCODING) ，所以第一个 print STDERR 打印为乱码，造成那个 warning 的原因是，print 发现字符串里包含非 ascii 字符而且 utf8 flag 为真。

四. 使用 use utf8 和 use encoding ENCODING 的建议
1. 如果不很了解这两个 progma 起的作用，最好别用。
2. 在 tk 和 gtk 里，为了显示中文，手工的 decode(ENCODING, $text) 可能是更好的选择。
3. 使用 use encoding ENCODING 时，要注意字符串实际上是存为 utf8 格式的，比如这个代码，用来测试中文目录是否存在：