有在lucene1.3/1.4的同学帮忙测试一下

wobushiwo

使用ChineseAnalyzer，内容为 "中华人民共和国"

搜 "中和" 或 "民华" 能不能搜到



下面是 ChineseAnalyzer 的作者写的，应该是搜得到，但我用 lucene 2.0 ，把顺序调乱就搜不到

/**
* Title: ChineseTokenizer
* Description: Extract tokens from the Stream using Character.getType()
*              Rule: A Chinese character as a single token
* Copyright:   Copyright (c) 2001
* Company:
*
* The difference between thr ChineseTokenizer and the
* CJKTokenizer (id=23545) is that they have different
* token parsing logic.
*
* Let me use an example. If having a Chinese text
* "C1C2C3C4" to be indexed, the tokens returned from the
* ChineseTokenizer are C1, C2, C3, C4. And the tokens
* returned from the CJKTokenizer are C1C2, C2C3, C3C4.
*
* Therefore the index the CJKTokenizer created is much
* larger.
*
* The problem is that when searching for C1, C1C2, C1C3,
* C4C2, C1C2C3 ... the ChineseTokenizer works, but the
* CJKTokenizer will not work.
*
* @author Yiyi Sun
* @version 1.0
*
*/

wobushiwo

神功护体，屹立不倒

james.liu

我用cjk。。。搜不到。。。

要不找个新的分词把。。

itlaomao

介绍你一个开源得分词Java程序：http://www.zbno.com/seg.jsp

wobushiwo

多谢大家，我想知道的是 WHY 不是 HOW

itlaomao

“中华人民共和国”


不能搜到 "中和" 或 "民华" 能不能搜到。你应该可以搜到 “中华”“华人” “人民” “民共”。。。。等等

wobushiwo

你说的是二元切词的方式，我说的是ChineseAnalyzer

itlaomao

你的ChineseTokenizer里使用二元切词的方式的ChineseTokenizer， 你要的其实是一元的，
建议你用下面那个ChineseTokenizer，那是One Chinese character one single token，这样你可以搜到"中和" 或 "民华"。


http://www.docjar.com/html/api/o ... eAnalyzer.java.html

http://www.docjar.com/html/api/o ... Tokenizer.java.html

http://www.docjar.com/html/api/o ... eseFilter.java.html

wobushiwo

首先感谢 itlaomao 热情的回复，但可否花2分钟将 1 楼的帖子再理解一遍。。。

james.liu

搞出来了通知我一下，放弃也说下。

谢谢。