无聊 发一点关于lucene的东西

ghostwwl

开始 有一批数据 可能是每天24小时不停的有更新 也可能有 更改 要用lucene做全文索引

最开始用的pylucene后来发现pylucene里想把庖丁加进去 非常困难

然后使用jpype 这个可以在python中直接使用jar包

但是存在一个问题 他的内存无法回收 就是一个python里面用jpype起了一个jvm那么 这个jvm

只有等到这个python进程退出的时候才会释放 这个是不能忍受的

解决办法  使用多进程 嘿嘿 这个时候发现了 processing这个东西

然后没次的任务 都起一个进程  数据流有点复杂了

主进程（py) --> 子进程(py + jvm + java线程 +py子进程）

数据必须从子进程的 java线程传回给py子进程 然后Py子进程再传回给 py主进程

传进去的数据也差不多这个流程  

我使用processing.pipe 来进行主进程和子进程中的 文本通讯(比喻取数据get 写数据write等)

简单的通讯 为了稳定 每次沟通 都要等消息回执

这个时候面临最大的一个问题 就是主进程到子进程大数据量传输的问题  也许一天还几百万 +

稳定问题  还有挂点了 以后怎么断点运行问题  安全退出问题  开始我用的processing.Queue来

传数据 后来发现这是非常不明智的 看了下底层 他好像也是基于socket的 刚开始没问题

但是你24小时不停 跑个几天 有事就会丢数据 这个是绝对不允许的

这个是后 偶就想到了 直接子进程和 主进程间 用磁盘文件保存 gunzip的python对象 然后磁盘文件加锁

后来发现这个问题得到了 很好的解决 嘿嘿 起码非常稳定 虽然是很笨的方法

看看python跑出来的索引 做的2个小站

http://www.findart.com.cn  最开始是用java做索引 现在是python做索引
http://www.icdz.net  从开始就是python做索引 哇哈哈

xiaoyu9805119

貌似你的站点有点意思