求高效算法过滤非法词。。。

starzhestarzhe

各有大神有现成的吗？

ecjtubaowp

正则 or 字符串匹配

starzhestarzhe

关键词一多，效率太差了，考虑文本的分词，然后关键词分类...不知道可行不？

留痕之雁

{:3_189:}{:3_189:}什么是非法词？目地？

liexusong

最近我也做这个，自己写了个服务端过滤

zhainx

目的就是阻止我们这帮P民，乱搜太上皇啥的！

isscc

开链hash，先hash，然后字符串匹配。或者在前面还可以放一个bloom filter，命中的到hash里面去找

starzhestarzhe

最近我也做这个，自己写了个服务端过滤
liexusong 发表于 2011-07-09 13:03

    求分享{:3_187:}

xhl

简单的脏词过滤， 做个字典就可以了。


用一个tiretree, 每个tree有256个节点（每个代表一个字符),

吧脏词构造出来， 然后过滤的时候， 就直接一个字符一个字符比较就可以了， 如果匹配了， 就是非法词。

没匹配， 就不非法。


复杂的做法就不介绍了， 一般用上述方法做简单的脏词过滤足以。

xylophone21

把关键词给Google，返回reset就非法，否则就不非法。