
平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 统计一个词组样本中每个词组的出现次数

[算法] 统计一个词组样本中每个词组的出现次数 [复制链接]

bjkillall

白手起家

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2011-05-09 03:19 |只看该作者 |倒序浏览

假如现在有一个很大的文本样本，经过分词程序处理后变成了一个个的字或词，现在要统计这些字或词在整个分词结果中的出现次数，想问下大家有米有好的思路；

我现在的思路是：做hash每一个hash位置对应一个统计数组中的一位，一旦某一个词放入某一位置或在某一位置发生冲突则该位置对应的数组元素值加1 表示出现过一次，最后遍历了整个文本后得到结果。

例如：

一个文本分词后得到如下词语：中国中学生大学生中国人民大学生

那么经过统计后的结果就应该是：中国：2 ；中学生：1 ；大学生：2 ；人民：1

求各位有没有什么比较好的思路一起探讨下吧，因为文本很大处理起来有很大的困难。谢谢了