免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Linux环境编程 › 互联网文本处理挑战巨大中文分词系统设计如何面对？

最近访问板块

发新帖

楼主: crazyhadoop

上一主题

下一主题

互联网文本处理挑战巨大中文分词系统设计如何面对？ [复制链接]

论坛徽章:: 0

1楼 [报告]

发表于 2012-05-29 17:24 |显示全部楼层

说实话，有时候别说计算机分词了，就是人有时候还会有分词误会。况且现在的语言一天一个样，昨天不行的，今天就行了，就像 “我勒个去”

论坛徽章:: 0

2楼 [报告]

发表于 2012-05-30 10:48 |显示全部楼层

造新词这个分析，目前有什么方法么，感觉上这没什么规律啊。
回复 25# crazyhadoop

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2012-05-30 14:41 |显示全部楼层

这样听来，要处理海量数据啊，还真是巨大挑战。估计没几个公司做的了。不过说不定那天就有人想出新算法，精简+联想数据貌似也有可能。

回复 32# crazyhadoop

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-05-31 09:15 |显示全部楼层

这个只是我的想法，很多词语都有简写，或者每个词提取关键字，与注意相连，之后新词在无法识别的时候，拆分成更小的，从已知的字——》意中推断。
不过貌似处理量更大。
而且容易歧义和误译。

回复 40# huihui_2012

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Linux环境编程 › 互联网文本处理挑战巨大中文分词系统设计如何面对？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP