
平台论坛博客文库

› 论坛 › 程序设计 › PHP › [下载] php版简易中文分词代码及词典(新加cscwsd)

1 2 3 4 5 67 / 7 页

[下载] php版简易中文分词代码及词典(新加cscwsd) [复制链接]

hightman

荣誉版主

论坛徽章:: 0

61楼 [报告]

发表于 2006-05-28 17:49 |只看该作者

顺便发布刚刚作好的 PHP 访问 cscwsd 的操作类, 最后附了一个小例子.
这样搭配用起来的话,效率相当可观, 粗估了一下1秒可以处理100万字符以上, 这样作甚至可能比作成PHP扩展还要好.

关于分词准确度方面还请大家共同继续改进, 不希望太复杂的算法, 马马虎虎过得去就可以了

<?php
/**
cscwsd-0.0.1 (PHP版查询交互程序示例版)
由于服务器互无法显性判断数据读取的始终, 故目前 socket 设为无阻塞模式
尝试读取一定次数后仍没数据就假设已经读完, 在 close() 前调用 recv() 会比较浪费资源.
这一点请注意, 务必一个 send() 对应一次 recv()
send 时程序自动在 string 的最后插了一个 '\x01'
PHP 版本要求 >= 4.3.0
类用法:
建立操作句柄: server,port 开启
$cws = new CSCWS('localhost', 4700);
$cws->open('localhost', 4700); // 若已打开且port/host不对就先关闭旧的
$cws = CSCWS::open('localhost', 4700);
查询分词(自动侦测连接?):
$cws->send("我是中国人");
获取结果
echo $cws->recv();
设定参数: key=>value
binary => (on)
autodis => (on|off)
ignore_mark => (yes|no)
delim => '_|/'...
$cws->set("autodis", "yes")
关闭
$cws->close();
变量: dirty (多余的 read次数), rbuf (close之后续读的数据)
对于大量的输入输出, 处理上可能会有问题, 请务必再 ->close() 之后调用 $cws->rbuf 来查看
$Id: CWS_query.class.php,v 1.2 2006/05/28 09:19:42 hightman Exp $
*/
// 纯英文或纯字母组成或纯数字
define ('_SPECIAL_TAG_', 'abcdefgHgfedcba');
define ('_SPECIAL_LEN_', strlen(_SPECIAL_TAG_));
define ('_SPECIAL_OFF_', (-2 - _SPECIAL_LEN_));
class CSCWS
{
var $host = 'localhost';
var $port = 4700;
var $sock = false;
var $rbuf = '';
var $dirty = 0;
var $clean = 0;
/** construct function */
function CSCWS($host = '', $port = 0)
{
if ($host !== '')
$this->host = $host;
if ($port !== 0)
$this->port = $port;
if ($host !== '')
$this->open($this->host, $this->port);
}
/** return true on success or false on failed */
function &open($host, $port = 4700)
{
if (!isset($this))
{
$cws = new CSCWS;
$cws->open($host, $port);
return $cws;
}
/** sock opened? */
if ($this->sock !== false)
{
if ($host === $this->host && $port == $this->port)
return true;
$this->close();
}
/** connect to the server */
$this->host = $host;
$this->port = $port;
$this->sock = fsockopen($host, $port, $errno, $errstr, 10);
if (!$this->sock)
{
trigger_error("fsockopen(): $errstr ($errno)", E_USER_WARNING);
trigger_error("Failed to open cscwsd server by '$host:$port'.", E_USER_ERROR);
return false;
}
/** set to nonblock mode */
stream_set_blocking($this->sock, 0);
return true;
}
/** set the parameters */
function set($key, $value = 'on')
{
if (!in_array($key, array('autodis', 'binary', 'delim', 'ignore_mark')))
return;
$str = "/set $key=$value\n";
fwrite($this->sock, $str);
}
/** send the original string */
function send($str)
{
$str = trim($str);
if (empty($str))
return false;
if (!$this->sock)
$this->open($this->host, $this->port);
if (!$this->sock)
return false;
fwrite($this->sock, $str . _SPECIAL_TAG_ . "\n");
}
/** recv the segmented string, param: try times for end? */
function recv($maxtry = 1000)
{
$try = 0;
$frag = '';
if (!$this->sock)
return $this->rbuf;
while (true)
{
$frag = fread($this->sock, 2048);
if ($frag === '')
$try++;
else
{
$this->dirty += $try;
$this->clean++;
$try = 0;
if (substr($frag, _SPECIAL_OFF_, _SPECIAL_LEN_) == _SPECIAL_TAG_)
{
$str .= substr($frag, 0, _SPECIAL_OFF_);
break;
}
$str .= $frag;
}
if ($try > $maxtry)
break;
if (feof($this->sock))
break;
}
$this->dirty += $try;
return $str;
}
/** close the connection */
function close()
{
$this->send('/bye');
$this->rbuf = '';
while (!feof($this->sock))
$this->rbuf .= $this->recv();
fclose($this->sock);
$this->sock = false;
}
}
// Sample01:
/*
$cws = &CSCWS::open('localhost');
$cws->set("ignore_mark", "yes");
$cws->set("delim", "_");
$cws->send("我是中国人,你应该也是吧？\n哈哈by hightman2006");
echo $cws->recv();
$cws->close();
echo $cws->recv();
*/
?>

复制代码

[ 本帖最后由 hightman 于 2006-5-28 22:23 编辑 ]

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Yarco

禁止访问

论坛徽章:: 0

62楼 [报告]

发表于 2006-05-28 18:15 |只看该作者

LZ, 词典有没utf8编码文本格式的?
有的话送我，偶放资源列表去.
yarco.w@gmail.com

另外建议LZ做个外部接口xml-rpc什么的，偶就可以直接可以调用你的了。。。

HonestQiao

版主

论坛徽章:: 1

63楼 [报告]

发表于 2006-05-28 22:06 |只看该作者

原帖由 litie123 于 2005-11-22 20:06 发表

那个是算法.............

这个是字典,性质不一样的

估计你没有看到相关的介绍，呵呵，这个是基础课程的。
建议看看：
ccl.pku.edu.cn/doubtfire/Course/Chinese%20Information%20Processing/2002_2003_1.htm

这个帖子加精！

asdf93945

丰衣足食

论坛徽章:: 1

64楼 [报告]

发表于 2007-04-08 19:25 |只看该作者

版主.... 源码不能下载了.... 能否给小弟一份.... 我对这个感兴趣......
degui.chen@yahoo.com.cn thank you !!!

lonestone

白手起家

论坛徽章:: 0

65楼 [报告]

发表于 2007-04-13 23:42 |只看该作者

我已经将这个组件用在了项目中，房产网站，搜索房屋信息，19万条记录，将地址分词后，将mysql5的全文索引修改为最短1个字（因为要较高的准确度），然后用match。。。against。。。布尔搜索，效果很不错。具体可以看http://oldhouse.cnfdc.com.cn/commonlist.php。qq12586093

hightman

荣誉版主

论坛徽章:: 0

66楼 [报告]

发表于 2007-04-14 10:46 |只看该作者

原帖由 lonestone 于 2007-4-13 23:42 发表
我已经将这个组件用在了项目中，房产网站，搜索房屋信息，19万条记录，将地址分词后，将mysql5的全文索引修改为最短1个字（因为要较高的准确度），然后用match。。。against。。。布尔搜索，效果很不错。具体可以 ...

很好，能对大家有帮助也是发布这些东西的初衷．

呵呵，百万条数据也还蛮快的呢