免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2814 | 回复: 2

LWP无法正常decode网页的gb2312编码? [复制链接]

论坛徽章:
0
发表于 2013-06-11 21:08 |显示全部楼层
事情是这样的:
使用LWP请求一个gb2312编码的网页,比如 http://ip138.com/ips138.asp?ip=8.8.8.8&action=2
  1. $response = LWP::UserAgent->new->get("http://ip138.com/ips138.asp?ip=8.8.8.8&action=2") ;
  2. $content = $response->decode_content() if $response->is_success;
复制代码
按理说应该是得到按照gb2312解码后的unicode字符串,实际上却并不是,似乎是按照ISO-8859-1来处理了

如果这个decode_content真的无法正常识别gb2312的话,那模块本身就有问题了,但LWP是如此常用的模块,如果有问题早就应该暴露出来了,所以不太敢确定是不是自己搞错了。贴出来希望大家也帮忙看下。

跟踪源代码分析,得到一些结论,贴一些关键性的代码出来。

首先decode_content函数
  1. if ($self->content_is_text || (my $is_xml = $self->content_is_xml)) {
  2.             my $charset = lc(
  3.                 $opt{charset} ||
  4.                 $self->content_type_charset ||
  5.                 $opt{default_charset} ||
  6.                 $self->content_charset ||
  7.                 "ISO-8859-1"
  8.             );
复制代码
由于网页并没有在http头部添加charset的param 而是在html文档里设置了<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
因此HTTP::Message模块也支持从meta标签里识别这个编码。上面的if流程执行下来
$opt{charset} 未设定,$self->content_type_charset没有得到编码,$opt{default_charset}未设定。$self->content_charset应该得到gb2312才对,但实际上用
$response->content_charset还是得到了undef,跟踪content_charset()函数,一些关键代码:
  1. elsif ($self->content_is_html) {
  2.         # look for <META charset="..."> or <META content="...">
  3.         # http://dev.w3.org/html5/spec/Overview.html#determining-the-character-encoding
  4.         require IO::HTML;
  5.         # Use relaxed search to match previous versions of HTTP::Message:
  6.         my $encoding = IO::HTML::find_charset_in($cref, { encoding    => 1,
  7.                                                            need_pragma => 0 });
  8.         return $encoding->mime_name if $encoding;
  9.     }
复制代码
发现my $encoding = IO::HTML::find_charset_in已经正确的返回了encode对象,但$encoding->mime_name返回确实空。$encoding->name却是正确的“euc-cn”

继续跟踪mime_name,实际上调用的是return Encode::MIME::Name::get_mime_name,关键代码:
  1. our %MIME_NAME_OF = (
  2.     'AdobeStandardEncoding' => 'Adobe-Standard-Encoding',
  3.     'AdobeSymbol'           => 'Adobe-Symbol-Encoding',
  4.     'ascii'                 => 'US-ASCII',
  5.     'big5-hkscs'            => 'Big5-HKSCS',
  6.     'cp1026'                => 'IBM1026',
  7.     'cp1047'                => 'IBM1047',
  8.     'cp1250'                => 'windows-1250',
  9.     'cp1251'                => 'windows-1251',
  10.     'cp1252'                => 'windows-1252',
  11.     'cp1253'                => 'windows-1253',
  12.     'cp1254'                => 'windows-1254',
  13.     'cp1255'                => 'windows-1255',
  14.     'cp1256'                => 'windows-1256',
  15.     'cp1257'                => 'windows-1257',
  16.     'cp1258'                => 'windows-1258',
  17.     'cp37'                  => 'IBM037',
  18.     'cp424'                 => 'IBM424',
  19.     'cp437'                 => 'IBM437',
  20.     'cp500'                 => 'IBM500',
  21.     'cp775'                 => 'IBM775',
  22.     'cp850'                 => 'IBM850',
  23.     'cp852'                 => 'IBM852',
  24.     'cp855'                 => 'IBM855',
  25.     'cp857'                 => 'IBM857',
  26.     'cp860'                 => 'IBM860',
  27.     'cp861'                 => 'IBM861',
  28.     'cp862'                 => 'IBM862',
  29.     'cp863'                 => 'IBM863',
  30.     'cp864'                 => 'IBM864',
  31.     'cp865'                 => 'IBM865',
  32.     'cp866'                 => 'IBM866',
  33.     'cp869'                 => 'IBM869',
  34.     'cp936'                 => 'GBK',
  35.     'euc-jp'                => 'EUC-JP',
  36.     'euc-kr'                => 'EUC-KR',
  37.     #'gb2312-raw'            => 'GB2312', # no, you're wrong, I18N::Charset
  38.     'hp-roman8'             => 'hp-roman8',
  39.     'hz'                    => 'HZ-GB-2312',
  40.     'iso-2022-jp'           => 'ISO-2022-JP',
  41.     'iso-2022-jp-1'         => 'ISO-2022-JP',
  42.     'iso-2022-kr'           => 'ISO-2022-KR',
  43.     'iso-8859-1'            => 'ISO-8859-1',
  44.     'iso-8859-10'           => 'ISO-8859-10',
  45.     'iso-8859-13'           => 'ISO-8859-13',
  46.     'iso-8859-14'           => 'ISO-8859-14',
  47.     'iso-8859-15'           => 'ISO-8859-15',
  48.     'iso-8859-16'           => 'ISO-8859-16',
  49.     'iso-8859-2'            => 'ISO-8859-2',
  50.     'iso-8859-3'            => 'ISO-8859-3',
  51.     'iso-8859-4'            => 'ISO-8859-4',
  52.     'iso-8859-5'            => 'ISO-8859-5',
  53.     'iso-8859-6'            => 'ISO-8859-6',
  54.     'iso-8859-7'            => 'ISO-8859-7',
  55.     'iso-8859-8'            => 'ISO-8859-8',
  56.     'iso-8859-9'            => 'ISO-8859-9',
  57.     #'jis0201-raw'           => 'JIS_X0201',
  58.     #'jis0208-raw'           => 'JIS_C6226-1983',
  59.     #'jis0212-raw'           => 'JIS_X0212-1990',
  60.     'koi8-r'                => 'KOI8-R',
  61.     'koi8-u'                => 'KOI8-U',
  62.     #'ksc5601-raw'           => 'KS_C_5601-1987',
  63.     'shiftjis'              => 'Shift_JIS',
  64.     'UTF-16'                => 'UTF-16',
  65.     'UTF-16BE'              => 'UTF-16BE',
  66.     'UTF-16LE'              => 'UTF-16LE',
  67.     'UTF-32'                => 'UTF-32',
  68.     'UTF-32BE'              => 'UTF-32BE',
  69.     'UTF-32LE'              => 'UTF-32LE',
  70.     'UTF-7'                 => 'UTF-7',
  71.     'utf8'                  => 'UTF-8',
  72.     'utf-8-strict'          => 'UTF-8',
  73.     'viscii'                => 'VISCII',
  74. );

  75. sub get_mime_name($) { $MIME_NAME_OF{$_[0]} };
复制代码
可以看到 Encode::MIME::Name里根本没有euc-cn对应的mime_name,查了下IANA官方的charset文档:
http://www.iana.org/assignments/character-sets/character-sets.xml 里面也确实没有。

难道说真的是HTTP::Message里的源代码写的有问题么?。。。

论坛徽章:
0
发表于 2013-06-12 10:53 |显示全部楼层
my %opts = (charset_strict  => 1,         
            default_charset => 'cp936',
           );
$content = $response->decoded_content( %opts );

自己设定行不?

论坛徽章:
0
发表于 2013-06-12 14:32 |显示全部楼层
回复 2# cronas


    自己设定当然可以,但这不是问题的关键
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP