论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2011-02-15 10:16 |只看该作者 |倒序浏览

项目需要用perl抓取一些含有泰文和中文的网页，传统的思路应该是使用

  LWP::Simple获取网页的内容，然后用该内容去匹配泰文编码吧，我查阅了一些

  资料，目前的思路是能包含多国文字的网页应该是utf-8编码，那抓取网页内容

  也应该是utf-8编码的，那现在问题的关键就是如何匹配utf-8下的中文和泰文。

  看到一些资料写用 /[0e00-0e7f]/能匹配泰文,这个我试了，泰文能匹配，可是好像

  有些不是泰文的东西它也能匹配下来！！！这个不行啊，还有就是匹配中文又当如何？

  请各位达人不吝赐教!

文库|博客

FenRagwort

白手起家

论坛徽章:: 0

2楼 [报告]

发表于 2011-02-15 10:27 |只看该作者

本帖最后由 FenRagwort 于 2011-02-15 10:28 编辑

回复 1# kitsilence

看一下 perluniprops

应该可以用\p{...}的方式匹配泰文字符，比如\p{Thai}或\p{InThai}，具体哪个你自己摸索，我不懂泰文

匹配汉字用\p{Han}，这个是匹配75000+汉字里的任意一个的意思

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

kitsilence

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2011-02-17 16:04 |只看该作者

回复 2# FenRagwort

谢谢你的提示！我解决这部分问题了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Perl › perl匹配泰文和中文

perl匹配泰文和中文 [复制链接]

浏览过的版块