关于如何处理半个汉字的问题

ruifox

在linux环境下经常会遇到半个汉字的问题，

echo "你好|中国|人民|"|awk -F'|' '{print $1"|"substr($2,1,3)"|"$3"|"}'


这样生成的文件在Linux环境下还可以继续处理（如按分隔符处理），但在windows环境就无能为力了，如何能自动识别这种半个汉字的情况并提前处理

haooooaaa

1. cyg@win /tmp$ echo "你好|中国|人民|"|awk -F'|' '{print $1"|"substr($2,1,3)"|"$3"|"}'
   
2. 你好|中国|人民|

复制代码

win7 cygwin

ruifox

回复 2# haooooaaa

谢谢，但我这里的工作方式一般是linux生成格式文本，用户再用excel导入，所以我希望能在linux环境下进行提前判断和处理

ruifox

回复 3# ruifox

powershell对我真是个新东东，第一次听说微软还有这么强大的shell，是我孤陋寡闻了，不知哪里有学习资料

jason680

回复 1# ruifox

$ echo "你好|中国|人民|" | LANG=zh_CN.UTF-8 awk -F'|' '{OFS="|";$2=substr($2,1,3);print}'
你好|中国|人民|

$ echo "你好|中国|人民|" | LANG=en_US.UTF-8 awk -F'|' '{OFS="|";$2=substr($2,1,3);print}'
你好|中国|人民|

$ echo "你好|中国|人民|" | LANG=C awk -F'|' '{OFS="|";$2=substr($2,1,3);print}'
你好|中|人民|

ruifox

回复 6# jason680

谢谢答复，我觉得对于定长的要求来说，半个汉字的问题其实很难避免，如果取值时将一个汉字当成一个字符处理（如：LANG=zh_CN.UTF-8），则最后取到的字符串可能已经超出定长的要求（因为实际上一个汉字是两个字符的长度），如果取值时将一个汉字当成一个字符处理，则必然会出现半个汉字的问题；

我测试了一下，如果LANG设置为C，Cygwin环境下一个汉字是三个字符的长度，这样的话
LANG=C
echo "中国"|awk '{print length($0),"["substr($0,1,3)"]","["substr($0,1,4)"]"}'


显示结果：

6 [中] [中▒]

我的想法是如果能判断出最后一个字符是半个汉字的话，则自动去掉这半个汉字