匹配汉字问题发现特例

小渔儿

按以前版主以前的办法是
echo '正常汉字'|LANG=C awk '/^[^[:print:]]+$/'
正常汉字

但发现一个特例
echo '贠'|LANG=C awk '/^[^[:print:]]+$/'

不能匹配！！



echo '贠'|od -tx1
da 4f

第二个字节4f  和字母O相同，所以正则不能匹配。

看来这个办法好像不能全部有效啊，有什么正则可以做到完全匹配汉字不会误判呢

blackold

汉字比较复杂，有很多这种“特殊”。应该要字处理才可能解决这个问题吧。试试perl

小渔儿

黑哥有一揽子解决方案吗，perl不会，帮忙写个，感谢

HH106

^[\u2E80-\u9FFF]+$   
  匹配所有东亚区的语言   
  ^[\u4E00-\u9FFF]+$   
  匹配简体和繁体   
  ^[\u4E00-\u9FA5]+$   
  匹配简体

来自google

blackold

我不了解perl。Sorry，帮不上你。

我是在vim里面处理。

小渔儿

4楼的那个什么工具支持，awk好像不行啊

黑哥能否告知在vim里面怎么处理，让大家学习一下。

blackold

上面是perl正则, 我测试的结果也有误报的情况。

vim中可以正确处理，缺点是——不能自动(至少需要你手动打开文件)处理。要看你具体要求了。

blackold

比如，在vim中你正确执行在命令行上无法正确执行(据说有的环境可以正确执行，我的环境还不行)的命令：s/[贠刼]/O/g

你可以根据你的要求，将常用命令做个映射，要处理时一键完成。

美中不足的还是——它不是全自动的。

[ 本帖最后由 blackold 于 2009-6-26 11:58 编辑 ]

小渔儿

明白感谢黑格的帮助

tom0732

原帖由 HH106 于 2009-6-26 11:02 发表
^[\u2E80-\u9FFF]+$   
  匹配所有东亚区的语言   
  ^[\u4E00-\u9FFF]+$   
  匹配简体和繁体   
  ^[\u4E00-\u9FA5]+$   
  匹配简体

来自google

什么字符集都一样么？