还是处理生僻字啊,有别的方法吗?

perlnewbie

bbs.chinaunix.net/thread-907172-1-1.html
这贴子里面提到了用正则,
现在有一文本，里面有很多GB18030-CJK扩展字集的许多生僻字（七万汉字！！！不知朋友怎么弄来的）。
gb18030.7z (787.04 KB, 下载次数: 61)

2011-11-24 09:12 上传

点击文件名下载附件

要将它们那些超级生僻字提取出来（手机上无法显示的）。
上述贴子里面的匹配GBK的正则是：[\x01-\x7f]|[\x81-\xfe][\x40-\xfe]

提取完GBK的，剩下的应该就是那些八辈子也用不到的生僻字了吧，不知对否？？？
但在vim里面运行无效啊。。。

1. 
   
2. :perld s/[\x01-\x7f]|[\x81-\xfe][\x40-\xfe]//g

复制代码

除了正则外，还有没有更好的办法呀？？？非常感谢，万分感谢，超级感谢！！！！
就是图中这么些GBK外的字符，怎么提取出来？？？

zhlong8

之前有人讲 \p{Han} 可以匹配，看看这个文档吧 perluniprops 这么多属性我也不太懂

ziyunfei

iconv -c  -f utf-8 -t GBK zhengma.txt>GBK.txt

GBK中没有的字符就剔除了

perlnewbie

iconv -c  -f utf-8 -t GBK zhengma.txt>GBK.txt

GBK中没有的字符就剔除了
ziyunfei 发表于 2011-11-24 17:03

{:3_198:} 超级谢谢大哥。

同谢版主