基于Lucene的海量数据库全文检索的设计与实现
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
徐叶强 ，朱艳辉 ，栗春 亮 ，王文华
（ 湖南１ 业大学 计算机 与通信学院 ，湖南 株洲 ４ ２ ０ １ ０ ８）
摘 要 ：基 于 Ｌ ｃ ｎ ｕ ｅ． ｅ实现 了一 个海量数 据库全 文检 索的原 型。把 关系数 据库 引入 了本 系统 ，可针 对不 同类型 的源数据 库灵 活配 置 ， 比采 用 配置文件 更加 灵活 ；采 用 多线程 ，通过 动 态机 制 来 实现 不 同类 型 源数 据库 中记 录 的抽 取 、转换 、建立 索 引；提 供 定 时 自动 更新 索 引的功 能 ；提供 多种检 索方 式。 关键 词 ：Ｌ ｃ ｎ ；关 系数据 库 ；全文检 索 ｕ ｅｅ 中图分类号 ： Ｐ ９ Ｔ ３１ 文献标志码 ： Ａ 文章编号 ： ６ ３ ９３ （０ １ ２ ０ ８ —４ １７ — ８３２ １） — ０ １０ ０
第２ 卷 第 ２ ５ 期
２１ 年 ３ ０１ 月
湖
南
ｌ Ｉ
业大学Fra bibliotek学报
Ｖｏ－ ｌ２５Ｎｏ． ２ Ｍ ａ ． ２０１ ｒ ｌ
Ｊ ｒ ｌ ｕ ａｎＵ ｎ ｖ ｒ ｉ ｏｆＴｅｃ ｏｌ ｙ ｏｕ ｎａ Ｈ ｎ ｉ ｅ ｓｔ ｏｆ ｙ ｈｎ ｏｇ
基于 Ｌ ｃｎ ｕ ｅ ｅ的海量数据库全 文检 索的设计与实现
０ 引 言
随着互联 网的飞速 发展 ，数 据量 与 日俱增 ，越
国内外 相继 出现 了一 些全 文检 索产 品 ，国 内比 较有 代表性 的如 易宝北 信信 息技 术有 限公 司设 计 和 开发 的全 文信息检索 和管理 系统 Ｔ Ｓ等 ，而 国外 比 Ｒ 较 著名的有 Ｉ Ｍ 公司研发 的关 系型数据库 ＤＢ 其 中 Ｂ ２ 的 Ｔ ｘ Ｅ ｔ ｄｒ Ｏ ａｌ公 司的 Ｏ ａｌ Ｔ ｘ， ｃ ｓｆ ｅｔ ｘｅ ｅ， ｒｃ ｎ ｅ ｒｃ ｅｔ Ｍｉ ｏｏｔ ｅ ｒ 公 司开发 的 ｓ Ｌ Ｓ ｒｅ Ｑ ｅｖ ｒ和开源 的 Ｌ ｃ ｎ … ｕ ｅ ｅ 全文检索 工具 包 。利用 大型关 系数 据库 本身 提供 的检索服 务 还有较多不足 ，所 以不适合作 为开发平台。而 Ｌ ｃｎ ｕｅ ｅ
Ｔｈ ｓｇ ｎ ｍ ｐ ｅ ｅ ｔｔｏ ｆＭ ａ ｓｖ ａａ ａ ｅ ｅ Ｄｅ ｉ ｎ ａ ｄ Ｉ ｌ ｍ ｎ ａ ｉ ｎ ｏ ｓ ｉ ｅＤ ｔｂ ｓ
Ｆｕ ｌＴｅ ｔ ｔｉｖ ｌ ｓ ｄｏ ｃ ｎ ｌ— ｘ ｒｅ ａ Ｒｅ Ｂａ ｅ ｎＬｕ ｅ ｅ
ＸｕＹ ｅ ｉｎ ｑ ａ ｇ， Ｚｈ ｎ ｕ ， Ｌｉ ｕ Ｙａ ｈ ｉ Ｃｈｕ ｌ ｎ ｎｉ ｇ， Ｗ ａ ｇＷ ｅ ｈ ａ ａ ｎ ｎ ｕ
（ ｃ ｏ ｌ ｆ ｍｐ ｔｒ ｎ ｍｍｕ ｉａｉｎ，Ｈｕ ａ ｉｅｓｔ ｏ Ｔｅｈ ｏｏ ｙ，Ｚ ｕ ｈ ｕＨｕ ａ ２ ０ ，Ｃｈｎ Ｓ ｈ ｏ Ｃｏ ｕｅ ｄＣｏ ｏ ａ ｎｃ ｔ ｏ ｎ ｎＵｎｖ ｒｉ ｆ ｃ ｎ ｌｇ ｙ ｈ ｚ ｏ ｎ ｎ４１ ０ ８ ｉａ）
Ａｂｓｒ ｔ ： Ｐ ｏ ｏ ｅ ａａ ａ ｅ ｆ ｌ—ｅ ｔ ｅｒｅ ａ ｏ ｅ ａ ｅ ｎＬｕ ｅ ｅ Ａｉ ｉ ｇ ａ ｉｆ ｒ ｎ ｏ ｒ ｅｄ ｔｂ ｓ ｓ ｔａｃ ｒ ｐ ｓ ｓａ ｄ ｔ ｂ ｓ ｕ ｌｔ ｘ ｔｉｖ ｌ ｒ ｍ ｄ ｌ ｓ ｄ ｏ ｃ ｎ ． ｍ ｎ ｔｄ ｆｅ ｅ ｔｓ ｕ ｃ ａ ａ ａ ｅ ｂ ｃ ｎ ｉ ｕ ａｉｎ，ｈ ａａ ａ ｅ ｕｓｏ ｚ ｄ ｖ ａｒ ｌｔｏ ａａ ｓ ｓｍｏ ｅｆｅ ｉ ｌ ｈ ｎ ｃ ｓｏ ｚ ｄｖ ａｃ ｎ ｇ ｒ ｔ ｎｆｌ ． ｏ ｆｇ ｒ ｔｏ ｔ ｅｄ ｔｂ ｓ ｓｃ ｔ ｍｉ ｅ ｉ ｅａｉｎ ｄ ｔｂａ ｅｉ ｒ ｘ ｂｅｔ ａ ｕ ｔ ｍｉ ｅ ｉ ｏ ｆ ｕ ａ ｉ ｅ Ｔｈｅ ｌ ｉ ｏ ｉ
的解决 途径 。
收 稿 日期 ：２ １－ ２ １ ０ ０ １— ７
是一 个 纯 Ｊ ｖ ａ ａ编 写 的开 放 源代码 的全 文检索 工 具 包。作为一个开放源代码项 目，Ｌ ｃｎ ｕ ｅ ｅ自问世之后 ，
是 Ａ ａｈ 软件基金会 Ｊｋ ｒ 项 目组 的一个子项 目， ｐ ｃｅ ａ ａｔ ａ
来越 多 的大型 企业或 集 团的核心 业务 数据 都存储 在 关 系数据库 管理 系统 （ ＤＢ Ｒ ＭＳ）中。但传 统的关系 数据 库缺乏 对存 储在库 中字 段 的 内容进 行检 索和 分 析 的核心 功能 ，解决 这个 问题 的关键是 建立 一条 有 效 的包含数 据整合 、高速查 询 、信息分 析 的 、将数 据转化 为信 息 的途 径 。从 目前信 息科学 技术 的发 展 来看 ，海量 信息 的全文 检索技 术是 最先进 、最 适合
ｓ ｐ ｏ ｔｔ ｉ ｄ ｆ ａａ ａ ｅｆ ｒｅ ｔａ ｔ ｇ ｅ ｃ ａ ｇ ｎ ｄ ｉｄ ｘｎ ａ ｅ ｎｔｒ ａ ｓ ｒ ｇ ａ ｍｉ ｇａ ｄ ｐ ｌ ｍ ｏｐ ｓ ａ ｅ ｕ ｐ ｒ ｋ ｎ ｓｏ ｔｂ ｓ ｏ ｘ ｒ ｃｉ ， ｘ ｈ ｎ ｉ ｇａ ｎ ｅ ｉ ｇｂ ｓ ｄｏ ｅ ｄ ｏ ｒ ｍ ｏ ｄ ｎ ｎ ｈ ｐ ｎ ｏ ｙ ｒ ｈｉｍ ｒ ｎ ｉ ｐ ｅ ｅ ｔｄ． ｅｆ ｎ ｔｏ ｆｐ ｒｏ ｉ ｄ ｘ ｎ ｐ ａｅａ ｄｋ ｎ ｓｏ ｕ ｒ ｅ ｕｉｅ ｅ ｔ ｒ ｒ ｖ ｄ ｄ． ｍ ｌｍ ｎ ｅ Ｔｈ ｕ ｃｉ ｎｏ ｅｉ ｄｃｉ ｅ ｉ ｇｕ ｄ ｔ ｎ ｉ ｄ ｆｑ ｅｙ ｒｑ ｒ ｍ ｎ ｓａｅｐ ｏ ｉ ｅ ｎ Ｋｅ ｙｗｏ ｄ ｒ ｓ：Ｌｕ ｅ ｅ ｒｌｔｏ ａ ａａ ａ ｅ ｆ ｌ—ｅ ｔ ｅｒｅ ａ ｃ ｎ ； ｅａｉ ｎ ｌ ｔｂ ｓ ；ｕ ｌｔｘ ｔｉｖ ｌ ｄ ｒ
（ 湖南１ 业大学 计算机 与通信学院 ，湖南 株洲 ４ ２ ０ １ ０ ８）
摘 要 ：基 于 Ｌ ｃ ｎ ｕ ｅ． ｅ实现 了一 个海量数 据库全 文检 索的原 型。把 关系数 据库 引入 了本 系统 ，可针 对不 同类型 的源数据 库灵 活配 置 ， 比采 用 配置文件 更加 灵活 ；采 用 多线程 ，通过 动 态机 制 来 实现 不 同类 型 源数 据库 中记 录 的抽 取 、转换 、建立 索 引；提 供 定 时 自动 更新 索 引的功 能 ；提供 多种检 索方 式。 关键 词 ：Ｌ ｃ ｎ ；关 系数据 库 ；全文检 索 ｕ ｅｅ 中图分类号 ： Ｐ ９ Ｔ ３１ 文献标志码 ： Ａ 文章编号 ： ６ ３ ９３ （０ １ ２ ０ ８ —４ １７ — ８３２ １） — ０ １０ ０
第２ 卷 第 ２ ５ 期
２１ 年 ３ ０１ 月
湖
南
ｌ Ｉ
业大学Fra bibliotek学报
Ｖｏ－ ｌ２５Ｎｏ． ２ Ｍ ａ ． ２０１ ｒ ｌ
Ｊ ｒ ｌ ｕ ａｎＵ ｎ ｖ ｒ ｉ ｏｆＴｅｃ ｏｌ ｙ ｏｕ ｎａ Ｈ ｎ ｉ ｅ ｓｔ ｏｆ ｙ ｈｎ ｏｇ
基于 Ｌ ｃｎ ｕ ｅ ｅ的海量数据库全 文检 索的设计与实现
０ 引 言
随着互联 网的飞速 发展 ，数 据量 与 日俱增 ，越
国内外 相继 出现 了一 些全 文检 索产 品 ，国 内比 较有 代表性 的如 易宝北 信信 息技 术有 限公 司设 计 和 开发 的全 文信息检索 和管理 系统 Ｔ Ｓ等 ，而 国外 比 Ｒ 较 著名的有 Ｉ Ｍ 公司研发 的关 系型数据库 ＤＢ 其 中 Ｂ ２ 的 Ｔ ｘ Ｅ ｔ ｄｒ Ｏ ａｌ公 司的 Ｏ ａｌ Ｔ ｘ， ｃ ｓｆ ｅｔ ｘｅ ｅ， ｒｃ ｎ ｅ ｒｃ ｅｔ Ｍｉ ｏｏｔ ｅ ｒ 公 司开发 的 ｓ Ｌ Ｓ ｒｅ Ｑ ｅｖ ｒ和开源 的 Ｌ ｃ ｎ … ｕ ｅ ｅ 全文检索 工具 包 。利用 大型关 系数 据库 本身 提供 的检索服 务 还有较多不足 ，所 以不适合作 为开发平台。而 Ｌ ｃｎ ｕｅ ｅ
Ｔｈ ｓｇ ｎ ｍ ｐ ｅ ｅ ｔｔｏ ｆＭ ａ ｓｖ ａａ ａ ｅ ｅ Ｄｅ ｉ ｎ ａ ｄ Ｉ ｌ ｍ ｎ ａ ｉ ｎ ｏ ｓ ｉ ｅＤ ｔｂ ｓ
Ｆｕ ｌＴｅ ｔ ｔｉｖ ｌ ｓ ｄｏ ｃ ｎ ｌ— ｘ ｒｅ ａ Ｒｅ Ｂａ ｅ ｎＬｕ ｅ ｅ
ＸｕＹ ｅ ｉｎ ｑ ａ ｇ， Ｚｈ ｎ ｕ ， Ｌｉ ｕ Ｙａ ｈ ｉ Ｃｈｕ ｌ ｎ ｎｉ ｇ， Ｗ ａ ｇＷ ｅ ｈ ａ ａ ｎ ｎ ｕ
（ ｃ ｏ ｌ ｆ ｍｐ ｔｒ ｎ ｍｍｕ ｉａｉｎ，Ｈｕ ａ ｉｅｓｔ ｏ Ｔｅｈ ｏｏ ｙ，Ｚ ｕ ｈ ｕＨｕ ａ ２ ０ ，Ｃｈｎ Ｓ ｈ ｏ Ｃｏ ｕｅ ｄＣｏ ｏ ａ ｎｃ ｔ ｏ ｎ ｎＵｎｖ ｒｉ ｆ ｃ ｎ ｌｇ ｙ ｈ ｚ ｏ ｎ ｎ４１ ０ ８ ｉａ）
Ａｂｓｒ ｔ ： Ｐ ｏ ｏ ｅ ａａ ａ ｅ ｆ ｌ—ｅ ｔ ｅｒｅ ａ ｏ ｅ ａ ｅ ｎＬｕ ｅ ｅ Ａｉ ｉ ｇ ａ ｉｆ ｒ ｎ ｏ ｒ ｅｄ ｔｂ ｓ ｓ ｔａｃ ｒ ｐ ｓ ｓａ ｄ ｔ ｂ ｓ ｕ ｌｔ ｘ ｔｉｖ ｌ ｒ ｍ ｄ ｌ ｓ ｄ ｏ ｃ ｎ ． ｍ ｎ ｔｄ ｆｅ ｅ ｔｓ ｕ ｃ ａ ａ ａ ｅ ｂ ｃ ｎ ｉ ｕ ａｉｎ，ｈ ａａ ａ ｅ ｕｓｏ ｚ ｄ ｖ ａｒ ｌｔｏ ａａ ｓ ｓｍｏ ｅｆｅ ｉ ｌ ｈ ｎ ｃ ｓｏ ｚ ｄｖ ａｃ ｎ ｇ ｒ ｔ ｎｆｌ ． ｏ ｆｇ ｒ ｔｏ ｔ ｅｄ ｔｂ ｓ ｓｃ ｔ ｍｉ ｅ ｉ ｅａｉｎ ｄ ｔｂａ ｅｉ ｒ ｘ ｂｅｔ ａ ｕ ｔ ｍｉ ｅ ｉ ｏ ｆ ｕ ａ ｉ ｅ Ｔｈｅ ｌ ｉ ｏ ｉ
的解决 途径 。
收 稿 日期 ：２ １－ ２ １ ０ ０ １— ７
是一 个 纯 Ｊ ｖ ａ ａ编 写 的开 放 源代码 的全 文检索 工 具 包。作为一个开放源代码项 目，Ｌ ｃｎ ｕ ｅ ｅ自问世之后 ，
是 Ａ ａｈ 软件基金会 Ｊｋ ｒ 项 目组 的一个子项 目， ｐ ｃｅ ａ ａｔ ａ
来越 多 的大型 企业或 集 团的核心 业务 数据 都存储 在 关 系数据库 管理 系统 （ ＤＢ Ｒ ＭＳ）中。但传 统的关系 数据 库缺乏 对存 储在库 中字 段 的 内容进 行检 索和 分 析 的核心 功能 ，解决 这个 问题 的关键是 建立 一条 有 效 的包含数 据整合 、高速查 询 、信息分 析 的 、将数 据转化 为信 息 的途 径 。从 目前信 息科学 技术 的发 展 来看 ，海量 信息 的全文 检索技 术是 最先进 、最 适合
ｓ ｐ ｏ ｔｔ ｉ ｄ ｆ ａａ ａ ｅｆ ｒｅ ｔａ ｔ ｇ ｅ ｃ ａ ｇ ｎ ｄ ｉｄ ｘｎ ａ ｅ ｎｔｒ ａ ｓ ｒ ｇ ａ ｍｉ ｇａ ｄ ｐ ｌ ｍ ｏｐ ｓ ａ ｅ ｕ ｐ ｒ ｋ ｎ ｓｏ ｔｂ ｓ ｏ ｘ ｒ ｃｉ ， ｘ ｈ ｎ ｉ ｇａ ｎ ｅ ｉ ｇｂ ｓ ｄｏ ｅ ｄ ｏ ｒ ｍ ｏ ｄ ｎ ｎ ｈ ｐ ｎ ｏ ｙ ｒ ｈｉｍ ｒ ｎ ｉ ｐ ｅ ｅ ｔｄ． ｅｆ ｎ ｔｏ ｆｐ ｒｏ ｉ ｄ ｘ ｎ ｐ ａｅａ ｄｋ ｎ ｓｏ ｕ ｒ ｅ ｕｉｅ ｅ ｔ ｒ ｒ ｖ ｄ ｄ． ｍ ｌｍ ｎ ｅ Ｔｈ ｕ ｃｉ ｎｏ ｅｉ ｄｃｉ ｅ ｉ ｇｕ ｄ ｔ ｎ ｉ ｄ ｆｑ ｅｙ ｒｑ ｒ ｍ ｎ ｓａｅｐ ｏ ｉ ｅ ｎ Ｋｅ ｙｗｏ ｄ ｒ ｓ：Ｌｕ ｅ ｅ ｒｌｔｏ ａ ａａ ａ ｅ ｆ ｌ—ｅ ｔ ｅｒｅ ａ ｃ ｎ ； ｅａｉ ｎ ｌ ｔｂ ｓ ；ｕ ｌｔｘ ｔｉｖ ｌ ｄ ｒ