免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1951 | 回复: 4
打印 上一主题 下一主题

本机字符集会影响抓到的网页? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-04-04 10:59 |只看该作者 |倒序浏览
在Linux用perl写了段抓网页的代码,将抓到的网页在win下用ie显示。发现如果抓取时设Linux的环境变量LANG=en_US.utf8,则在win下网页的中文无法正常显示,修改ie中的字符编码也无效。如果设LANG=zh_CN.gb2312或en_US.iso88591等就可以。

为什么呢,感觉没道理。是我存网页的方法不对?

我是这么存的页面:

  1. open (FILE, ">ball.html") or die "Can't open file: $!\n";
  2. ……
  3. print FILE $data while read($socket, $data, 1024);
复制代码

ball.html为保存的文件,socket是相应的套接字。

附件里有无法正常显示的网页。

请教大家了~

ball.rar

2.54 KB, 下载次数: 32

论坛徽章:
0
2 [报告]
发表于 2007-04-04 11:05 |只看该作者
互联网上的编码太多了,管不过来。保存文件时要使用binmode, socket应该缺省就是binmode了,要注意的一点是如果要计算buffer的长度,因为是编码后的长度肯定与bytes长度不等。
所以,如果你没有特殊需求,最简单的办法是在程序的开始加上
use bytes;

论坛徽章:
0
3 [报告]
发表于 2007-04-04 12:53 |只看该作者

回复 2楼 福瑞哈哥 的帖子

使用use bytes; 会让这两者统一吗?

论坛徽章:
0
4 [报告]
发表于 2007-04-04 13:34 |只看该作者
原帖由 qmhball 于 2007-4-4 12:53 发表
使用use bytes; 会让这两者统一吗?


会,而且你也没有必要再使用binmode了,所有的buffer,io都按照字节处理。

论坛徽章:
0
5 [报告]
发表于 2007-04-11 11:06 |只看该作者

回复 1楼 qmhball 的帖子

我访问的一个网页包含诸如 ú á 这样的字符,抓下来之后显示为 鷖 这样的汉字。请问如何正确获得?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP