123 / 3 页下一页

求高效算法过滤非法词。。。 [复制链接]

PKkingSon

小富即安

论坛徽章:: 0

11楼 [报告]

发表于 2011-07-13 15:25 |只看该作者

我有，不过是版权代码，不能公开，剥开HTTP协议，直接处理2G流量

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

PKkingSon

小富即安

论坛徽章:: 0

12楼 [报告]

发表于 2011-07-13 15:26 |只看该作者

而且这玩意有点损！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

pmerofc pmerofc 当前离线禁止发言好友博客消息论坛徽章: 2	13楼 [报告] 发表于 2011-07-13 15:43 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
pmerofc pmerofc 当前离线禁止发言好友博客消息论坛徽章: 2	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

wenjianhn

稍有积蓄

论坛徽章:: 0

14楼 [报告]

发表于 2011-07-13 22:10 |只看该作者

《黑客与画家》
page 124 防止垃圾邮件的一种方法

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liexusong

家境小康

论坛徽章:: 0

15楼 [报告]

发表于 2011-07-14 09:07 |只看该作者

回复 8# starzhestarzhe

我是用字典树做的，你可以搜索一下双数组字典树。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

anbutu

丰衣足食

论坛徽章:: 0

16楼 [报告]

发表于 2011-07-14 14:57 |只看该作者

我以前写过一个PHP的扩展，使用的是双数组字典树，你可以参考一下：

http://blog.anbutu.com/php/php-ext-trie-filter

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

liexusong

家境小康

论坛徽章:: 0

17楼 [报告]

发表于 2011-07-14 15:43 |只看该作者

本帖最后由 liexusong 于 2011-07-14 15:45 编辑

回复 16# anbutu

潜水帝？

我也看过你这个扩展，用libdatrie库的，不过不支持中文，要把alpha_map_add_range(alpha_map, 0x00, 0xff);改成alpha_map_add_range(alpha_map, 0x00000000, 0xffffffff);才支持。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

anbutu

丰衣足食

论坛徽章:: 0

18楼 [报告]

发表于 2011-07-14 17:52 |只看该作者

回复 17# liexusong

中文支持是有的，其实程序本身处理的是字节流，不存在编码的问题，如果用GBK编码，每个汉字是两个字节，那么这两个字节分别是一个树的节点。唯一的限制是词库和待过滤的文本编码需要一致。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

bobo896

白手起家

论坛徽章:: 0

19楼 [报告]

发表于 2013-01-21 16:26 |只看该作者

anbutu,你好，请问从哪里能下载到您写的tire-filter 扩展呢？这个网址已经失效了：http://blog.anbutu.com/php/php-ext-trie-filter回复 16# anbutu

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

linux_c_py_php

巨富豪门

论坛徽章:: 4

20楼 [报告]

发表于 2013-01-21 17:49 |只看该作者

考虑贝叶斯.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

123 / 3 页下一页

返回列表

Chinaunix › 论坛 › 程序设计 › C/C++ › 求高效算法过滤非法词。。。

pmerofc pmerofc 当前离线禁止发言好友博客消息论坛徽章: 2	13楼 [报告] 发表于 2011-07-13 15:43 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
pmerofc pmerofc 当前离线禁止发言好友博客消息论坛徽章: 2	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

求高效算法过滤非法词。。。 [复制链接]

浏览过的版块