请教perl 处理utf16le文件 回车问题

jsjhy

请大伙帮忙看个菜鸟问题:
use strict;
use warnings;
use Encode;

my($fi,$fo);

open($fi,"< :encoding(utf16le)",'ti.txt') or die "Error input";
open($fo,"> :encoding(utf16le)",'to.txt') or die "Error output";

while(<$fi>)
{
        print $fo $_;
}

close $fi;
close $fo;
#############
ti.txt  utf16le编码 包含两行
line1
line2
0000000: 6c00 6900 6e00 6500 3100 0d00 0a00 6c00  l.i.n.e.1.....l.
0000010: 6900 6e00 6500 3200 0a                   i.n.e.2..
得到的 to.txt
0000000: 6c00 6900 6e00 6500 3100 0d00 0d0a 006c  l.i.n.e.1......l
0000010: 0069 006e 0065 0032 000d 0a              .i.n.e.2...
怪异的地方 0d00 0d0a 006c  多了个0d   回车处理有问题?

sjdy521

1、你的原始数据最后只有一个0a，这根本不符合规范，会导致混乱。
2、windows平台上的perlio layer隐含的多了一个:crlf 导致encode的数据又被做了一次\n->\r\n的转换
改成这样就可以了

1. open($fi,"< :raw:perlio::encoding(utf16le):crlf",'ti.txt') or die "Error input";
   
2. open($fo,"> :raw:perlio:encoding(utf16le):crlf",'to.txt') or die "Error output";

复制代码

jsjhy

谢谢sjdy521大侠 !!!
1、你的原始数据最后只有一个0a，这根本不符合规范，会导致混乱。
<<<<<  这个是vim转txt转hex的时候自动加上去的  偷了下懒没有用 -b打开文件   多谢大侠提醒!


open($fi,"< :raw:perlio::encoding(utf16le):crlf",'ti.txt') or die "Error input";
open($fo,"> :raw:perlio:encoding(utf16le):crlf",'to.txt') or die "Error output";

请问这个地方 :perlio::encoding(utf16le) 和 perlio:encoding(utf16le) 有什么讲究?

jsjhy

找到了个链接 留着防止以后忘记了 http://www.perlmonks.org/?node_id=608532

sjdy521

回复 3# jsjhy


    笔误。。