LWP无法正常decode网页的gb2312编码？

sjdy521

事情是这样的：
使用LWP请求一个gb2312编码的网页，比如 http://ip138.com/ips138.asp?ip=8.8.8.8&action=2

1. $response = LWP::UserAgent->new->get("http://ip138.com/ips138.asp?ip=8.8.8.8&action=2") ;
   
2. $content = $response->decode_content() if $response->is_success;
   

复制代码

按理说应该是得到按照gb2312解码后的unicode字符串，实际上却并不是，似乎是按照ISO-8859-1来处理了

如果这个decode_content真的无法正常识别gb2312的话，那模块本身就有问题了，但LWP是如此常用的模块，如果有问题早就应该暴露出来了，所以不太敢确定是不是自己搞错了。贴出来希望大家也帮忙看下。

跟踪源代码分析，得到一些结论，贴一些关键性的代码出来。

首先decode_content函数

1. if ($self->content_is_text || (my $is_xml = $self->content_is_xml)) {
   
2.             my $charset = lc(
   
3.                 $opt{charset} ||
   
4.                 $self->content_type_charset ||
   
5.                 $opt{default_charset} ||
   
6.                 $self->content_charset ||
   
7.                 "ISO-8859-1"
   
8.             );

复制代码

由于网页并没有在http头部添加charset的param 而是在html文档里设置了<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
因此HTTP::Message模块也支持从meta标签里识别这个编码。上面的if流程执行下来
$opt{charset} 未设定，$self->content_type_charset没有得到编码，$opt{default_charset}未设定。$self->content_charset应该得到gb2312才对，但实际上用
$response->content_charset还是得到了undef，跟踪content_charset（）函数，一些关键代码：

1. elsif ($self->content_is_html) {
   
2.         # look for <META charset="..."> or <META content="...">
   
3.         # http://dev.w3.org/html5/spec/Overview.html#determining-the-character-encoding
   
4.         require IO::HTML;
   
5.         # Use relaxed search to match previous versions of HTTP::Message:
   
6.         my $encoding = IO::HTML::find_charset_in($cref, { encoding    => 1,
   
7.                                                            need_pragma => 0 });
   
8.         return $encoding->mime_name if $encoding;
   
9.     }

复制代码

发现my $encoding = IO::HTML::find_charset_in已经正确的返回了encode对象，但$encoding->mime_name返回确实空。$encoding->name却是正确的“euc-cn”

继续跟踪mime_name，实际上调用的是return Encode::MIME::Name::get_mime_name，关键代码：

1. our %MIME_NAME_OF = (
   
2.     'AdobeStandardEncoding' => 'Adobe-Standard-Encoding',
   
3.     'AdobeSymbol'           => 'Adobe-Symbol-Encoding',
   
4.     'ascii'                 => 'US-ASCII',
   
5.     'big5-hkscs'            => 'Big5-HKSCS',
   
6.     'cp1026'                => 'IBM1026',
   
7.     'cp1047'                => 'IBM1047',
   
8.     'cp1250'                => 'windows-1250',
   
9.     'cp1251'                => 'windows-1251',
   
10.     'cp1252'                => 'windows-1252',
    
11.     'cp1253'                => 'windows-1253',
    
12.     'cp1254'                => 'windows-1254',
    
13.     'cp1255'                => 'windows-1255',
    
14.     'cp1256'                => 'windows-1256',
    
15.     'cp1257'                => 'windows-1257',
    
16.     'cp1258'                => 'windows-1258',
    
17.     'cp37'                  => 'IBM037',
    
18.     'cp424'                 => 'IBM424',
    
19.     'cp437'                 => 'IBM437',
    
20.     'cp500'                 => 'IBM500',
    
21.     'cp775'                 => 'IBM775',
    
22.     'cp850'                 => 'IBM850',
    
23.     'cp852'                 => 'IBM852',
    
24.     'cp855'                 => 'IBM855',
    
25.     'cp857'                 => 'IBM857',
    
26.     'cp860'                 => 'IBM860',
    
27.     'cp861'                 => 'IBM861',
    
28.     'cp862'                 => 'IBM862',
    
29.     'cp863'                 => 'IBM863',
    
30.     'cp864'                 => 'IBM864',
    
31.     'cp865'                 => 'IBM865',
    
32.     'cp866'                 => 'IBM866',
    
33.     'cp869'                 => 'IBM869',
    
34.     'cp936'                 => 'GBK',
    
35.     'euc-jp'                => 'EUC-JP',
    
36.     'euc-kr'                => 'EUC-KR',
    
37.     #'gb2312-raw'            => 'GB2312', # no, you're wrong, I18N::Charset
    
38.     'hp-roman8'             => 'hp-roman8',
    
39.     'hz'                    => 'HZ-GB-2312',
    
40.     'iso-2022-jp'           => 'ISO-2022-JP',
    
41.     'iso-2022-jp-1'         => 'ISO-2022-JP',
    
42.     'iso-2022-kr'           => 'ISO-2022-KR',
    
43.     'iso-8859-1'            => 'ISO-8859-1',
    
44.     'iso-8859-10'           => 'ISO-8859-10',
    
45.     'iso-8859-13'           => 'ISO-8859-13',
    
46.     'iso-8859-14'           => 'ISO-8859-14',
    
47.     'iso-8859-15'           => 'ISO-8859-15',
    
48.     'iso-8859-16'           => 'ISO-8859-16',
    
49.     'iso-8859-2'            => 'ISO-8859-2',
    
50.     'iso-8859-3'            => 'ISO-8859-3',
    
51.     'iso-8859-4'            => 'ISO-8859-4',
    
52.     'iso-8859-5'            => 'ISO-8859-5',
    
53.     'iso-8859-6'            => 'ISO-8859-6',
    
54.     'iso-8859-7'            => 'ISO-8859-7',
    
55.     'iso-8859-8'            => 'ISO-8859-8',
    
56.     'iso-8859-9'            => 'ISO-8859-9',
    
57.     #'jis0201-raw'           => 'JIS_X0201',
    
58.     #'jis0208-raw'           => 'JIS_C6226-1983',
    
59.     #'jis0212-raw'           => 'JIS_X0212-1990',
    
60.     'koi8-r'                => 'KOI8-R',
    
61.     'koi8-u'                => 'KOI8-U',
    
62.     #'ksc5601-raw'           => 'KS_C_5601-1987',
    
63.     'shiftjis'              => 'Shift_JIS',
    
64.     'UTF-16'                => 'UTF-16',
    
65.     'UTF-16BE'              => 'UTF-16BE',
    
66.     'UTF-16LE'              => 'UTF-16LE',
    
67.     'UTF-32'                => 'UTF-32',
    
68.     'UTF-32BE'              => 'UTF-32BE',
    
69.     'UTF-32LE'              => 'UTF-32LE',
    
70.     'UTF-7'                 => 'UTF-7',
    
71.     'utf8'                  => 'UTF-8',
    
72.     'utf-8-strict'          => 'UTF-8',
    
73.     'viscii'                => 'VISCII',
    
74. );
    
75. 
    
76. sub get_mime_name($) { $MIME_NAME_OF{$_[0]} };

复制代码

可以看到 Encode::MIME::Name里根本没有euc-cn对应的mime_name，查了下IANA官方的charset文档：
http://www.iana.org/assignments/character-sets/character-sets.xml 里面也确实没有。

难道说真的是HTTP::Message里的源代码写的有问题么？。。。

cronas

my %opts = (charset_strict  => 1,         
            default_charset => 'cp936',
           );
$content = $response->decoded_content( %opts );

自己设定行不？

sjdy521

回复 2# cronas


    自己设定当然可以，但这不是问题的关键