论坛徽章:: 1

电梯直达

1楼 [收藏(0)] [报告]

发表于 2011-04-18 15:57 |只看该作者 |倒序浏览

如果要模糊检索，或者包含检索，采用普通的SQL 语句，都用 LIKE '%XXX%' 这样的类似写法，数据量不大，比如在几万条以下，可能
问题不大，如果超过几十万条，效率低下，就非常明显了，

所以，用全文检索技术，就是不二的选择，在POSTGRESQL中，提供了全文检索的功能，在8.3之后，已经内置TSEARCH2全文检索引擎，
通过TSVECTOR和TSQUERY二个类型，就可以轻松完成，

在我的电脑上，做对比测试中，使用全文检索比要比普通的SQL语句快1000倍以上，数据量为100万条，普通SQL语句要23375 ms，
全文检索仅仅为16MS。

需要注意的是：在做全文检索的时候，需要把做全文检索的字段合并到一个新的字段，或者另外一个表中，新的字段类型为TSVECTOR，
然后把新的字段建立全文索引，如果不合并到新的字段，就建全文索引表，那么在检索的时候，就非常的慢，本人开始就范了这样的错误，
搞的我开始还以为POSTGRESQL的全文检索系统很烂。

POSTGRESQL全文检索的缺点，就是没有内置的中文分词系统，所以，如果需要做中文全文检索，就需要另外的分词插件系统，但都有些缺陷，
集成度不太好，据说BAMBOO（项目地址：http://code.google.com/p/nlpbamboo/），可以集成到POSTGRESQL中，但我鼓捣了一天，没有成功，

可能它们的安装包都是LINUX下的，我的电脑是WINDOWS，下了它的源代码，重新编译安装，老是出错，没搞掂，不知道哪位能搞个WINDOWS下的安装包就好了。