电梯直达

1楼 [收藏(0)] [报告]

发表于 2012-07-19 22:39 |只看该作者 |倒序浏览

大家好，请教一个问题，
我想用shell 脚本处理一些文本，这些文本是双字节编码的，用shell脚本或sed编辑输出的文本是乱码，
设置LC_ALL = zh_CN.GBK 也试过了，输出的一样是乱码。

还有，awk 怎样设置记录分隔符为 0x0d, 0x0a ？

谢谢！

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	2楼 [报告] 发表于 2012-07-20 08:17 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

3楼 [报告]

发表于 2012-07-20 20:15 |只看该作者

回复 2# zooyo

设置过了，命令行显示是没有问题，
但是我要用shell在一个双字节的文本中插入一些双字节的字符就会出现乱码，
不只是汉字，其它语言的文字也是这样的，
要是shell只能处理英文，那要来有何用？

4楼 [报告]

发表于 2012-07-20 22:14 |只看该作者

回复 1# 叶叶叶Yeah

可以。设置正确就可以。

5楼 [报告]

发表于 2012-07-21 09:10 |只看该作者

叶叶叶Yeah 发表于 2012-07-20 20:15
回复 2# zooyo

还可以处理法文

6楼 [报告]

发表于 2012-07-31 10:50 |只看该作者

$ echo $! | sed 's/^0$/太棒了！是一个大零蛋耶！/'
太棒了！是一个大零蛋耶！

$ !! | sed 's/耶/叶叶叶Yeah/'
太棒了！是一个大零蛋叶叶叶Yeah！

$ !! | sed 's/叶\{3\}/♣/'
太棒了！是一个大零蛋♣Yeah！

7楼 [报告]

发表于 2012-08-01 08:42 来自手机 |只看该作者

不要处理gbk，很容易出错,除非你非常熟悉GBk编码，否则换成utf8

zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	2楼 [报告] 发表于 2012-07-20 08:17 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
zooyo zooyo 当前离线禁止发言好友博客消息论坛徽章: 3	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

[文本处理] shell 能处理双字节的文本吗? [复制链接]