请问哪位兄弟有sed处理中文的经验？我这怎么总是出错呢。

erjing

我有一个文件，是utf-8的，为了批量修改文件中文，我总是习惯现将文件用iconv转换成GBK，
今天准备用sed来批量处理，
比如：
sed -e "s/大河/大大大河/g"
我处理一个文件，大部分都是好的，但是总是有那么几行有问题，出问题之后，再想转回utf-8就要挨个手动修理。

我想是因为sed处理中文字符的时候是按照单字符为单位的，但是中文是按照双为单位的，所以有些时候就会不小心把中文删除一半....

大家有没有比较好的解决办法呢？

erjing

对了，LANG我尝试用过GB2312 GBK UTF-8，iconv转换文件我也测试过GB2312 GB18030 GBK，都是一样的问题。

waker

LANG=C sed -e 's/大河/大大大河/g'

erjing

LANG=C也测试过了...

erjing

有点不确定是不是这个问题了，给大家上个例子看看：

有助于对多种眼疾的治疗（WWWWWWWWWWWA可促进眼内感光色素的形成）； <br />2、WWWWWWWWWW粑?低掣腥咀饔茫?<br /

看到最后了吗？无论删除一个或者两个字节，都无法恢复了...

erjing

有办法了，先转化成UTF-16或者UTF-32,然后再修改替换，然后再转回来。

erjing

utf-16看来思路有点问题，我考虑用utf-7了，几个简单文件是测试出来了，但是复杂文件又出问题....

erjing

搞定了，可以采用urlencode的方式给文件编码，然后修改完毕了以后给文件解码，
虽然速度慢了点，但是管用。
我用了urldeconde和urlencode,不过速度的确是慢....

sunceenjoy

试下 LANG=zh_CN.gb2312

blackold

楼主方便的话贴一段有问题的文本上来给大家看看。