免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2187 | 回复: 9
打印 上一主题 下一主题

關於中文分割的問題 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-07-08 12:26 |只看该作者 |倒序浏览
有一段內容如下:

hello@tom@吃了吧@AAA
我在使用@作為分割符時,中文漢字所在的字段會出現亂碼的現象。不知道大家有沒有碰到過?
但是有時候又是正常的顯示漢字。 很奇怪。
同一段 echo "hello@tom@吃了吧@AAA"|nawk -F@ '{print $3}'  代碼執行有時候是亂碼有時候又顯示漢字正常?
有沒有好的方法解決?

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
2 [报告]
发表于 2008-07-08 12:34 |只看该作者

回复 #1 edei2004 的帖子

相同的代码结果不同? 我环境没有这种问题。

论坛徽章:
0
3 [报告]
发表于 2008-07-08 13:12 |只看该作者
LZ的LANG和shell环境是什么?

论坛徽章:
0
4 [报告]
发表于 2008-07-08 13:16 |只看该作者
没事啊,在我这里显示没有问题啊

论坛徽章:
0
5 [报告]
发表于 2008-07-08 13:36 |只看该作者
这样行不行?

  1. echo "hello@tom@吃了吧@AAA"|LANG=C nawk -F@ '{print $3}'
复制代码


在我的系统中,加不加LANG=C 输出结果是一样的

不过,因为特殊的中文字符导致sed输出混乱的情况我遇到过,后来用LANG=C来处理就解决了(印象中是分析一个html文档,它的编码是GB2312,可是其中有少量字符的编码却是utf8的,用sed处理,在那些编码不一样的字符串就出现错误,后来添加LANG=C后就解决了。)

论坛徽章:
0
6 [报告]
发表于 2008-07-08 14:07 |只看该作者
试试......... 谢谢各位

论坛徽章:
0
7 [报告]
发表于 2008-07-08 14:26 |只看该作者

回复 #3 walkerxk 的帖子

我的LANG环境是 zh.GBK
sh 是 ksh

论坛徽章:
0
8 [报告]
发表于 2008-07-08 14:55 |只看该作者
我刚才用下面的这样的语句测试了一下:
echo "hello@tom@吃饭开始了@AAA"|nawk -F@ '{for(i=1;i<1000;i++){print $3,$2}}'|while read str1 str2;do echo "==["$str1"]   ["$str2"]";done >t.dd

第一条打印出现乱码的频率较高,结果如下:
==[苑箍?剂薥]   [tom]
==[吃饭开始了]   [tom]
==[吃饭开始了]   [tom]
==[吃饭开始了]   [tom]  ..........

我用上面的语句连续执行了5次,其中有3次会在打印的第一条记录出现如上的乱码.有空的朋友可以帮我测试一下. 谢谢

论坛徽章:
0
9 [报告]
发表于 2008-07-08 15:12 |只看该作者
同样的LANG,同样是ksh,我这没有乱码,每行都一样。你试试5楼的LANG=C。

论坛徽章:
0
10 [报告]
发表于 2008-07-08 15:20 |只看该作者
5楼的加上LANG=C我也有试过
连续执行几次,总有出现乱码的时候, 谢谢大家,我再到网上google下看看
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP