基于Lucene的网站全文搜索的设计与实现.

科技情报开发与经济

文章编号：１００５－６０３３（２００５）１５－０２４２－０３

ＳＣＩ／ＴＥＣＨＩＮＦＯＲＭＡＴＩＯＮＤＥＶＥＬＯＰＭＥＮＴ＆ＥＣＯＮＯＭＹ２００５年第１５卷第１５期

收稿日期：２００５－０６－０３

基于Ｌｕｃｅｎｅ的网站全文搜索的设计与实现

陈庆伟１，刘

军２

（１．山西省网络管理中心，山西太原，０３０００１；２．山西省科技情报研究所，山西太原，０３０００１）摘要：Ｌｕｃｅｎｅ是一个基于Ｊａｖａ技术的开放源代码全文索引引擎工具包，它可以方便

地嵌入到各种应用中实现针对应用的全文索引／检索功能。利用Ｌｕｃｅｎｅ的ＡＰＩ可以比较方便地为一个网站提供全文搜索功能。探讨了如何使用Ｌｕｃｅｎｅ建造一个通用的Ｗｅｂ站点全文搜索工具，并对在构建系统中应注意的若干问题进行了探讨。关键词：全文搜索；Ｌｕｃｅｎｅ；Ｊａｖａ中图分类号：ＴＰ３９３．０７文献标识码：Ａ

在构建一个信息类Ｗｅｂ站点的时候，站点的全文搜索功能是必备的功能之一。一般站点的信息内容都存储在各种数据库系统中，并使用数据库提供的检索和查询功能构建网站的搜索功能。但随着信息的累‘％ｋｅｙｗｏｒｄ％’查询构成的数据检索性能将积，使用数据库中的类似ｌｉｋｅ急剧下降，因此，只使用数据库查询进行全文检索并不是一个好的解决它可以方便方案。Ｌｕｃｅｎｅ是一个基于Ｊａｖａ技术的全文索引引擎工具包，

地嵌入到各种应用中实现针对应用的全文索引／检索功能。例如Ｌｕｃｅｎｅ可以快速实现一个简单、功能强大的数据全文检索系统。

ＰＤＦＷｏｒｄ

ＸＳＬＴ

格式化

各种输出

Ｔｅｘｔ

ＸＭＬ输出

ＸＭＬ格式

ＸＭＬ中间格式

ＤＢＬｕｃｅｎｅＤＢ

１设计目标

全文检索系统的主要功能就是为信息资料提供全文索引和查询。对

其他

专业格式

图１

接口的实现示意图

于一个以提供信息资料为主要目的网站来说，网站的全文检索系统是必备功能之一。但对于小型的信息网站来说，购置全文检索系统的代价经‘ｋｅｙｗｏｒｄ’查询来代替全文检索常是昂贵的。如果只使用数据库的Ｌｉｋｅ

系统，其性能又往往达不到要求，甚至影响数据库的其他正常使用。而使也会遇用其他大型搜索引擎的站内搜索（例如ｇｏｏｇｌｅ提供的站内搜索）到更新慢、数据不准确、无法控制输出格式等情况。

那么能不能自己实现一个适用的全文搜索引擎呢？答案是肯定的。这就是利用开放源代码的搜索引擎工具包Ｌｕｃｅｎｅ来构成自己的全文搜索引擎，它富有弹性的软件架构可以使我们方便地对其功能进行扩充，以快速实现一个通用网站的全文搜索引擎。这样一个通用的网站搜索引擎可以达到下面的设计目标：

其一，为各种类型的原始文档提供一个适当的包装，以方便搜索引擎对其内容进行索引和存储，这些类型包括Ｄａｔａｂａｓｅ记录、文本文档、Ｗｏｒｄ／Ｅｘｃｅｌ文档、ＰＤＦ文档以及其他专用的格式文档。

其二，提供内容爬行程序以便可以对不同来源的内容进行索引，其Ｗｅｂ页面、文件系统等。主要的数据来源包括数据库表、

其三，提供一个统一的中间输出格式以便对检索结果进行不同的处理和显示。

其四，提供相关词检索，方便用户更有效地查询信息。

从原始文档提取这些属性作为索引文档的共同属性。２．２系统结构

根据上面所讨论的系统设计目标，一个通用的网站全文搜索引擎的整个系统由５个大的模块构成：结构如图２所示，

文档抽取模块Ｗｏｒｄ

ＸＬＭＰＤＦ

Ｔｅｓｔ

文档过滤模块中

文分词

关键字过滤

噪音词过滤

系统配置管理

文档处理流水线

文档适配器数据源爬行器

标准数据交换层

２

２．１

系统实现

接口设计

从上面的设计目标我们可以看到，系统的数据来源是多样的，同时

索

引模块

全文检索核心引擎多引擎处理模块ＬｕｃｅｎｅＡＰＩ

ＬｕｃｅｎｅＡＰＩ

查询模块

输出模块ＸＭＬ格式数据ＸＳＬＴ引擎

其输出形式也是多样的。这使我们很容易想到使用ＸＭＬ作为数据的中间格式：所有来自数据源爬行程序的数据转化为ＸＭＬ格式的中间数据，这些中间数据

进行进一步的格式化，产生更一致的ＸＭＬ数据结构（例如ｔｉｔｌｅ和ｓｕｂｊｅｃｔ元素都统一描述为ｔｉｔｌｅ，作为文档的标题），最后，这些ＸＭＬ数据进入Ｌｕｃｅｎｅ引擎进行索引；而数据的输出则可以通过对ＸＭＬ数据的不同格式化处理而实现。接口的实现如图１所示。

其中，右边的文档属性列表是每个索引文档统一的属性，应该尽量

ＬｕｃｅｎｅＤＢ

ＬｕｃｅｎｅＤＢ

图２通用网站全文搜索引擎结构示意图

一是多引擎处理模块。核心引擎的主要工作是管理文档全文索引数

２４２

陈庆伟，刘军基于Ｌｕｃｅｎｅ的网站全文搜索的设计与实现本刊Ｅ－ｍａｉｌ\ｂｊｂ＠ｍａｉｌ．ｓｘｉｎｆｏ．ｎｅｔ信息技术

据的处理，它由一个多引擎处理模块作为控制的中心，使得引擎可以同时处理多个不同的索引数据库。

二是文档抽取模块。它由处理不同类型文档的文档适配器和一个数据源爬行管理器组成，它的主要工作根据配置文件定时产生数据源爬行器以遍历整个数据源，并使用相应的文档适配器对文档内容进行抽取。

三是文档处理模块。它由一系列文档处理程序模块构成，它们可以在配置管理模块的操纵下挂接在文档处理流水线上。

它可以四是输出模块。它由一些ＸＳＬＴ模块和一个ＸＳＬＴ引擎构成，对核心引擎产生的结果进行不同的格式化处理，以适应不同外围系统的需要。