论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2006-09-09 13:27 |只看该作者 |倒序浏览

计划临时网址: http://php.twomice.net/mysql_ft/
-----------------------------------------------------------------------
最新情况
【2006年09月09日】
针对 MyISAM fulltext (全文检索) 定制的带有词典分词能力及多字节字符支持(特别是中文)第一个版本发布.

概述介绍
MySQL 从 3.23 的某个小版本开始就已经支持在 MyISAM 表中建立全文索引的列. 但一直不支持多字节字符集(如中文), 更不可能具备分词能力了. 经过对单字节字符集的试用, 感觉效果挺好. 凭借着兴趣及应用的需要, 加上之前发布的简易分词系统, 决定以 MySQL-4.0.26 为基础, 自己动手加入多字节字符集的检索与简易的词典分词. 在不影响MySQL的系统结构及其他功能的前提下, 解决MySQL目前对中文全文检索无法正确支持的缺陷并进而优化MySQL对中文检索处理的性能.

关于什么是分词、何谓全文检索以及为什么要这样做, 请自行 Google 或借助其它资料先了解一下.

由于时间和手头没有比较好的测试库, 临时组建了一个约 200MB , 7.6万行的数据表进行了简易测试. 建立

顺便提一下, 有一个叫作海量的分词技术公司, 很早就做过 mysql-chinese 的 hack, 不过迟迟没有按照 GNU 精神及时发布源码, 所以才决定自己来作.

安装使用

  0. 本软件包目前只支持从源码方式编译安装, 这里假定您已经拥有这方面的知识基础

  1. 从本地下载获取源码包, 格式为: mysql-4.0.6h**.tgz
wget http://php.twomice.net/mysql_ft/mysql-4.0.26h1.tgz

  2. 解压编译安装:
tar xvzf mysql-4.0.26h1.tgz
cd mysql-4.0.26h1/
./configure --prefix=/usr/local --with-charset=gb2312 --with-extra-charsets=all --enable-hightman-mbft
make
make install

  3. 拷入词库文件 (可自行定制, 格式参照源码目录下的: README.hightman_mbft 说明吧）
cp -f support-files/wordlist-gbk.txt $PREFIX/share/mysql/
cp -f support-files/stopwords-gbk.txt $PREFIX/share/mysql/

  4. 修改 /etc/my.cnf 在 [mysqld] 位置内加入:

ft_wordlist_charset = gbk
ft_wordlist_file = /home/soft/mysql/share/mysql/wordlist-gbk.txt
ft_stopword_file = /home/soft/mysql/share/mysql/stopwords-gbk.txt
ft_min_word_len    = 2

  说明: ft_wordlist_charset 表示词典的字符集, 目前支持良好的有(UTF-8, gbk, gb2312, big5)
      ft_wordlist_file 是词表文件, 每行包括一个词及其词频(用若干制表符或空格分开,消岐专用)
ft_stopword_file 表示过滤掉不索引的词表, 一行一个.
ft_min_word_len    加入索引的词的最小长度, 缺省是 4, 为了支持中文单字故改为 2

  5. 重启 mysqld 服务器
$PREFIX/share/mysql/mysql.server stop
$PREFIX/share/mysql/mysql.server start

  6. 建表测试, 参见页面底部的测试命令或翻查 MySQL 手册吧.

本地下载
· [20060909] - 发布第一个版本, 内测完毕. 本地直接下载: mysql-4.0.26.h1.tgz (MD5: ffa39dfc9ab9cbff953035f2c084734

前瞻计划
* 在 SELECT 句法中加入 SEGMENT(str) 函数返回切好的词 (空格隔开??)
* 对于带有 MATCH() 从句或条件的 SELECT 句法可以使用 MATCH_POS() 返回第一次出现关键词的位置??
* 欢迎有兴趣的能人力士加入一起完善, 或计划提交给 mysql 总部?? (只是 mysql 发展太快了, 由于某些原因目前本人还在用 mysql 4.0)

其它说明
本软件秉承GNU(通用公共许可证)精神释出, 旨在抛砖引玉, 互相学习促进.
hack 部分的代码全部由本人(即 hightman)独立完成, 未经同意请勿修改代码包括但不限于商业应用、分支发布等. 本改进软件包不包含任何恶意代码, 由于本人水平及精力有限, Bug及错误之处在所难免, 由此升级修改引起的数据丢失等后果本人不承担任何责任.
关于本软件的bug报告、疑问以及建议或改进优化代码请联系我. (MSN: MingL_Mar@msn.com 或加 QQ群: 17708754)

对源码有兴趣者请自行 grep 与 HAVE_HIGHTMAN_MBFT 相关的部分代码主要集中在以下文件:
  sql/mysqld.cc
  sql/set_var.cc
  include/ft_global.h
  myisam/ft_wordlist.c(新增)
  myisam/ft_stopwords.c
  myisam/ft_parser.c
  myisam/ftdefs.h
  myisam/ft_static.c

测试情况(略)