互联网文本处理挑战巨大 中文分词系统设计如何面对？

crazyhadoop

回复 30# zhanggggfd


    大规模索引+ 学习，只能通过智能算法来分析了，路还很长

crazyhadoop

回复 30# zhanggggfd


    现在常用的方法是基于统计，不过这个要有大量的最新语料库的配合，一般为了提高新词的认知准确度，先都是在特定领域挖掘，泛泛的抓取识别还达不到这样的技术

snailshen

学习。。。

hbsycw

crazyhadoop 发表于 2012-05-28 21:44
回复 6# hbsycw

是的，感觉搜狗输入法，用着很不错~

zhanggggfd

这样听来，要处理海量数据啊，还真是巨大挑战。估计没几个公司做的了。不过说不定那天就有人想出新算法，精简+联想数据貌似也有可能。

回复 32# crazyhadoop


   

陈翔123

看看。。。

ttblmtang123

还是语法呀

要分清主语，动语
我是中国人
从左往右最长匹配优先：
读入‘我’，一个字当然是一个词
再读入‘是’，查表找‘我是’，不在表中，则‘我’是一个独立的词，‘是’还要下一步判断
读入‘中’‘是中’肯定不在表内，那‘是’也是一个独立的词，‘中’还要下一步判断
读入‘果’，‘中国’在表内
再读入‘人’，’中国人‘也在表内，
此时全部读完，’中国人‘是一个次
结果就是：我 是 中国人
其他就是递归，
有时间还可以看一下龙书。

pitonas

是一个比较艰巨的任务。

huihui_2012

精简+联想数据

这个怎么解读
回复 35# zhanggggfd


   

huihui_2012

我参考别人的论文实现过一个新词发现的程序。基本思想：
根据一个字串上下文的多样性来确认是否是新词。对于比较正规的新闻文体，识别新词的效果还是不错的。

回复 30# zhanggggfd