论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2010-06-23 21:08 |只看该作者 |倒序浏览

我的系统是windows，但是linux下的常用命令行工具也有，比如sed，grep。

我是想对网页文件用sed，grep分析进行处理，找到我想要的链接地址，可我遇到了编码的问题。

大家可以把dos联盟http://www.cn-dos.net/forum/index.php
的网页文件脱机存盘【保存类型选择仅html】，然后在cmd下type 这个文件，里面的汉子会全成了乱码；

为了这个问题，我在网上搜索了下编码的原理，联盟论坛的源文件里有

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

复制代码

说明htm文件要显示的内容在源文件中是以utf-8编码的，我从网上得知，并用winhex作实验知道：

utf-8编码的文本文件前三个字符是 ee bb bf，英文字符占一个字节，汉字占三个字节。

复制代码

我在查看联盟的网页文件，文件头没有eebbbf字样，说明从文本的方式来看源文件是ascii编码的。

那么我想，要让cmd识别htm文件里的汉子，首先得把htm的源文件里要显示的汉子转换为ascii才行，这个转换我不知道是怎么实现的，但是我知道用notepad就可以很简单的另存为ascii来实现。
========================================
1. 以上只是我个人对编码的理解，如果有误请大家指出。

2. 大家能否说下记事本转换的原理，或者提下这种转换的vbs代码或者是命令行工具【是把utf-8的htm文件转换为ascii编码的htm文件】

文库|博客

没本

大富大贵

论坛徽章:: 0

2楼 [报告]

发表于 2010-06-24 06:45 |只看该作者

我用的Google Chromium浏览器，Ctrl+S另存你给的那个DOS网页，用记事本或者Notepad++打开，都是正常的UTF-8编码。
此外，UTF-8编码的文件不一定非要在开头加上三字节的BOM，charset=utf-8就已经说明编码了。
如果你需要将该网页的UTF-8编码转为国标编码，例如：GB18030或GBK或更早的GB2312。注意不是ASCII，ASCII标准从来没支持过汉字，中国大陆最早支持的汉字编码是HZ(每字节7位的编码)和GB2312。
可以用iconv.exe(需要cygwin支持)或Linux命令行iconv来完成。