[awk]处理双字节文本(日文sjis)，字段分隔与求length的问题

shenyue_sam

有一个文本文件，为日文，sjis编码，字段分隔符为|。
使用awk，即要求每行的长度，又要取出某一字段。

awk -F'|' '{print $3, length($0);}' a.txt

遇到的问题是，
用length($0)取出的是字符个数，但想要的是字节数；
如果设export LANG=C，length($0)能正确取得字节数，但字段切分得又不对了
(好像会把某些日文汉字识别成分隔符'|')。

怎样才能既算对长度，又能切对字段呢？

dn833

1. awk -F \| '{printf $3" ";system("LANG=C awk '{print length($0)} a.txt' ")}' a.txt

复制代码

也许这样可以，主要是system里的单双引号问题看看如何处理下。没有文本不好验证

shenyue_sam

我需要取得长度和字段做其他处理，不只是输出。

我试过用    "echo $0 | wc -c " | getline var
虽然可以得到正确长度，但性能极差。