基于Lucene全文检索引擎技术的研究

随着 计算 机 技术 的发 展 以及社 会 信息 化程 度 大
通 常 将 全文 搜 索 引 擎模 型分 成 两 大 功能 模 块 ：
大提高 ， 信息 化建 设 方面 有 了 比较 深 入 的发展 ， 取 索 引 处 理 （ｎ ｅｉｇ ｒｃｓ ） 查 询 处 理 （ ｅｙ 抽 Ｉｄ ｘｎ Ｐ ｏｅ ｓ 和 Ｑｕ ｒ ｒｃ ｓ） 出对其 有 价值 的 、 潜在 的信 息 ， 之能 有效 地被 应用 Ｐ ｏ ｅｓ 。索 引 处 理 的 主要 任 务 是 针 对 指 定 资源 ， 使 在 管理 和决策 中给予 了越 来越 多 的关 注 。信息 检 索 如 互 联 网上 的网 页或 其 他类 型 的文 档 ， 据 这些 资 根 技 术 帮助 用户 从 海量 的信 息 中提 取 出他们 所需 要 的 源 的具体 内容 建 立一 个 可 进 行后 期 查 询 的数 据 库 。
语义分析 ， 并利用句法信息和语义信息来处理歧义 现象。常用 的基于理解 的分词方法有专家系统方法 和神经元网络方法ｎ 。 （ ） 于统计 的分词 方法 ３基
从 形式 上看 ， 是稳 定 的字 的组 合 ， 词 因此 在 上下 文 中 ， 邻 的字 同时 出现 的次数 越 多 ， 越有 可 能构 相 就 成 一个 词 。 因此字 与字 相邻 共 现 的频率 或 概率 能够 较 好 的反 映成 词 的可信 度 。可 以对 语料 中相邻 共现 的各 个 字 的组 合 的频 度进 行 统 计 ， 算 它 们 的互 现 计
（ ＲＭＭ ） 和双 向最 大 匹配法 （ ＤＭＭ ） 。
基 于字 符 串匹 配 的分 词 方 法 相对 简 单 ， 于 实 易 （ ｋｎ Ｓｒａ 。最 后 由索 引创 建 模 块 负 责 对 返 现 ； 匹 配速 度 比较慢 ， 且存 在交 集 型和 组合 型歧 Ｔｏｅ ｔ ｍ） ｅ 但 并 回的字符 串流 中的每 一个 字符 串进行 倒排 处 理后 添 义 切 分 问题 ， 没有 统一 标 准 的词 集 ， 缺乏 智 能学 习 的
ＸＵ ｕ ｆｎ Ｃｈ ｎｅ ｇ，Ｗ ＡＮＧ ｎ ｈ ｎ，ＹＥ Ｑｉｇ Ｙａ ｃ ｕ ｎ
（ ｏｌｇ ｆ ｍｐ ｔｒ ｃ ｎ ｅＣ ａ ｇ ｈ ｎＵｎｖ ｒｉ ｃ ｎ ｅ ｎ ｃ ｎ ｌｇ ，ｃ ａ ｇ ｈ ｎ１ ０ ２ ） Ｃ ｌ ｅｏ ｅ Ｃｏ ｕｅ ｉ ｃ ｈ ｎ ｃ ｕ ｉｅｓ ｙｏ Ｓ ｉ ｃ ｄＴｅｈ ｏ ｙ ｈ ｎ ｃ ｕ ３ ０ ２ Ｓ ｅ ｔ ｆ ｅ ａ ｏ
有 用信 息 ， 省 了用户 的 时 间 ， 高 了用户 的工 作效 这个 库并 不是 我们 通 常所 说 的能用 结构 化查 询 语言 节 提 率 。搜 索 引擎 正 是 这 些 技术 的基 础 和平 台 ， 决定 它
着 这些 技术 的开发 和应 用 。 本 文 是 基 于对 全文 搜 索 引 擎 模 型 的基 本 原 理 、 （ ＱＬ） Ｓ 进行 查询 的数 据库 ， 种数 据库 就是 索 引库 ， 这
术之 一。本 文首先从全文搜 索引擎模 型入手 ，对其基 本工作原理和流程进行 深入研 究 ，并结合这些知识研 究开源检 索引 擎
包Ｌ ｃｎ 的 架构原理及其 开发应 用方法。然后介 绍 中文分词和基 本算法７． ｕ ｅｅ ｕ ｅｅ ２Ｌ ｃｎ 的相关技 术。
关键 词 ：全 文 检 索 ； Ｌ ｃｎ ； 中文 分词 ｕ ｅｅ
１ 全 文 搜 索 引 擎
收 稿 日期 ：２ １－０ －１ ０１ ８ ７ 作 者 简 介 ：徐 春 风 （９ ７ ，女 ，硕 士 １ ７一）
，
完成 。之后将结果交由文本转换器处理 。文本转换
讲师 ，主要从事计算机程序设计方面的研究。
ｌＯ ５
长春理工大学学报 （ 自然科 学版）
模 块 负 责 从 原 始 文件 中提 取 有 用 的纯 文 本 内 容 ， 进 要 有 正 向 最 大 匹 配 法 （ ）、 向 最 大 匹 配 法 ＭＭ 逆 行 内容 的分 词并 过 滤 掉 常 见 的无 意义 的停 用词 ， 有 必 要 时 还 要 进 行 词 干 提 取 ， 最 终 返 回 字 符 串 流 并
尤其是指倒排索引库 。而查询处理则是在建立好索 引库 的前 提 下 ， 据 用户 的查 询条 件 进 行 检 索并 生 根 核 心技 术 和 流程 的研究 ， 用 Ａｐ ｃ ｅ 件基 金 会提 成一 个具 有优 先 级 的文档 列表 以合 理 的布 局显示 给 应 ａｈ 软 供 的全 文 检 索 引擎 工 具包 Ｌ ｃｎ ， ｕ ｅ ｅ 建立 一 个 能 对 常 用户 。
第 ３ 卷 第４ ４ 期 ２ １ 年 １ 月 ０１ ２
长春理工大学学报 （ 自然 科 学 版 ）
Ｊ ｕ ｎ ｌ ｆ ｈ ｎ ｃ ｕ ｉｅ ｓ ｙ ｏ ｃｅ ｃ ｎ ｅ ｈ ｏｏ ｙ （ ｔ ｒ ｌ ｃｅ ｃ ｄｔ ｎ ｏ ｒ ａ Ｃ ａ ｇ ｈ ｎＵｎｖ ｒｉ ｆＳ ｉ ｅａ ｄ Ｔ ｃ ｎ ｌ ｇ Ｎａｕａ ｉｎ ｅＥ ｉｉ ） ｏ ｔ ｎ Ｓ ｏ
－
加到索引库 中， 此外还包括文档的统计 、 权值计算 、 特性。 索 引优 化 等 。有 的 时候 ， 要 将 被 抓 回 的文 档 存储 需 （ ）基 于 理解 的分 词方法 ２ 到本 地 ， 么这 时 候 就 需要 创 建 一 个 文档 数 据 库将 那 基 于理 解 的分 词方 法模 拟 人在 理解 句 子 的基础
一
”
、
可 以最 大化 匹配 ， 可 以最 小 化 匹 配 。但 最 小化 匹 也
∞
国
配 可能 识别 不 了一 些常 见 的如 “ 到成 功 ” “ 崖勒 马 、悬
马” 之类 的成语 ， 致在 检 索 的时候 准确 率会 有 所下 导 降 。本 小节 将 实现 基 于正 向最 大 匹配 和基 于逆 向最
大 匹 配 的分 词算 法 。
正 向最 大 匹配 法 的基本 思想 如下 ：
这 些 文档存 储 起来 。索 引处 理 的流程 如 图 ｌ 所示 。
上 进 行 分词 。这 种 方 法在 分 词 的 同时还 进 行 句 法 、
Байду номын сангаас
～
图 １ 全 文 搜 索 引擎 的 索 引处 理 流 程
Ｆｇ １ Ｔｈ ｒ ｅ ｓｏ ｌ ｔ ｘ ｅ ｒ ｈ ｉ． ｅ ｐｏｃ ｓ ｆ ｕｌ ｅ ｔ ａ ｃ ｆ — ｓ
从 图２ 不难 看 出 ， 询 处理 涉 及用 户 交 互 、 引 查 索 查 询 和结果 排 序 等模块 。首先 用户 通 过用 户交 互模
块 提 交 查 询关 键 字 ， 索查 询 模 块 根据 关 键 字 建立 检
信息 。但这种方法也有一定 的局限性 ， 会经常抽 出 些 共 现频 度 高 、 并 不 是 词 的 常用 字 组 ， 如 “ 但 例 这
ｔ ｏ ｆ ｒ ｅ ｌ ｇ ｏ ｌ ｏ ｄ ａｉ ｗｉ ｎ ｔ ｃ ｕ ｅ ｄ ｔ ， ｂ ｔ ｌｏ ｎ ｏ ｈ ａｎ ｔｅ ｍ ｅ ｈ ｏ ｏ ｙ ｆ ｓ ａ ｃ ｅ ｇ ｎ ｓＴｈ ｓ ｐ ｐ ｒ ｓ ａ ｓ ｎ ｔ ｕ ｓｒ ｔｒ ｄ ａａ ｈ ｕ ｕ ａｓ ｏ ｅ ｆ ｔ ｅ ｍ ｉｓ ｒ ａ ｔ ｃ ｎ ｌ ｇ ｏ ｅ ｒ ｈ ｎ ｉ ｅ ． ｉ ａ ｅ ｔ ｒ ｔ ｆｏ ｒ ｍ ｓｕ ｙ ｎ ｈ ｒ ｉ ｇ ｐ ｉ ｃ ｌ ｓ ａ ｄ ｐ ｏ ｅ ｓ ｆ ｓ ａ ｃ ｅ ｇ ｎ ｏ ｅ ｎ ｅ ｔ ｔ ｄ ｉｇ ｔ ｅ ｗｏ ｋ ｎ ｒ ｉ ｅ ｎ ｒ ｃ ｓ ｏ ｅ ｈ ｎ ｉ ｅ ｍ ｄ ｌ ｄ ｐ ｈ， ａ ｄ ｔ ｌ ｓ ａ ｏ ｔ Ｌｕ ｅ ｅ ｃ ｉｅ ｔ ｒ ｎ ｐ ｒ ｉ ｎ ａｋ ｂ ｕ ｃ ｎ ａ ｈ ｔ ｃｕ ｅ Ｓｒ ｗｉ ｒｖｏ ｓ ｋ ｏ ｅ ｇ ｎ ｏ ｔ ｕ ｅ ｔ ｐ ｉ ｉ ｕ ｎ ｗｌｄ ｅ ａ ｄ ｈ ｗ ｏ ｓ Ｌｕ ｅ ｅ Ｆｉａ ｌ ｍａｎ ｙ ｏ ｒ ｓ ｍ ｅ ｂ ｓｃ ｌ ｏ ｉ ｍｓ ｆ ｃ ｉｅ ｅ ｅ ｍｅ ｔ ｔ ｎ ａ ｄ ｈ ｃｎ ． ｎ ｌ ｙ， ｉ ｌ ｆ ｏ ａ ｉ ａｇ ｒ ｈ ｏ ｈｎ ｓ ｓ ｇ ｎ ａｉ ｔ ｏ ｎ ｒ ｌｖ ｎ ｅ ｒ ｎ ｉ ｇ，ｗｅ ｓ ｔ ｕ ｃ ｎ －ｂ ｓ ｄ ｆ ｌ ｅ ｔ ｄ ｃ ｍｅ ｔ ｒ ｔｉｖ ｌ ｓ ｓｅ ｂ ｐ ｌ ｉ ｇ ｔ ｅ ｅ ｔ ｃ ｏ ｏ ｉｓ ｅｅ ａ ｃ ａ ｋｎ ｅ ｐ ａ Ｌｕ ｅ ｅ ａ ｅ ｕ ｌ ｘ ｏ ｕ ｎ ｅ ｒ ａ ｙ ｔ ｍ ｙ ａ ｐｙ ｎ ｈ ｓ ｅ ｈ ｌ ｇ ｅ ． －ｔ ｅ ｎ Ｋ ｙ ｗｏ ｄ ｅ ｒ ｓ： ｆ ｌ ｅ ｔ ｒ ｔｉｖ ｌ ｌ ｃ ｎ ｕ ｌ ｘ ｅｒｅ ａ ； ｕ ｅ ｅ；ｃ ｉ ｅ ｅ ｓ ｇ ｎ ａ ｉｎ －ｔ ｈ ｎ ｓ ｅ ｍｅ ｔｔｏ
Ｖｏ ．４ ＮＯ４ １３ ． Ｄｅ ．０ｌ ｃ２ １
基于 Ｌ ｃ ｎ 全 文检 索引擎技术 的研究 ｕｅ ｅ
徐春凤 ，王艳春 ，叶青
（ 长春理工 大学 计算机科学技术 学院 ，长 春 １０ ２ ） ３ ０ ２
摘
要 ：全 文检 索作为现代信 息检 索技术的一 个重要 分支 ，不仅是 处理 非结构化 数据的重要工具 ，也是搜 索引擎的主流技
Ａｂ ｔ ｔ Ａｓ ｒｌ ｍｐ ｒａ ｔ ｂ ａ ｃ ｏ ｄ ｍ ｎｏ ｍａｉｎ ｒｔｉｖ ｌｔｃ ｎ ｌｇ ｓｒ ： ａｃ ａ ｉ ｏｔｎ ｒｎ ｈ ｆ ｍｏ ｅ ｉｆｒ ｔ ｅｒ ａ ｅ ｈ ｏｏ ｙ． ｆｌ ｅ ｔ ｓ ａｃ ｓ ｎ ｔ ｏ ｌ ｎ ｉ ｏ ａ ｔ ｏ ｅ ｕ ｌ ｘ ｅ ｒｈ ｉ ｏ ｎｙ ａ ｍｐ ｒ ｎ —ｔ ｔ
一
“ 之一 ” “ 的” “ 的” “ 多 的” ， 、有 、我 、许 等 并且 对 常 查 询 语 句 ， 后 利 用 该查 询 语 句 到 索 引库 中查 询并 用 词 的识别 精度 差 ， 然 时空 开销 大 。 返 回相 关 的文 档 记 录 ， 进 行 文 档相 关 度 排 序 后 又 在 ２２ 中文 分词 的算 法 实现 ． 通 过用 户交 互 将结 果显 示 给用 户 。整体 查 询类 似 于 在 中文 分 词基 本 算 法 中 ， 于字 符 串 匹 配 的分 基 数 据 库 的查 询 。此 外 ， 可 以增 加一 些 系统 评 价功 还 词 算 法 是最 简 单 的 。通 常情 况 下 ， 于 字 符 串匹 配 基 能 以 帮助进 一 步优 化 系统 。
中图分 类号 ：Ｔ ３ ３０ Ｐ ９ ．２
文献标识码 ：Ａ
文章编号 ：１ ７－９ ７ （０ １ ４ ０ ４～ ４ ６ ２ ８ ０ ２ １ ）Ｏ— １９ ０
ＴｈｅＲｅ ｅ ｒｈ ｆＦ ｌ ｅ ｔ ｅ ｒ ｙ ｔｍ ｓ ｄ ｏ ｃ ｎｅ ｓ ａ ｃ ｏ ｕ ｌ ｘ ａ ｃ Ｓ ｓｅ Ｂａ ｅ ｎ Ｌｕ ｅ －ｔ Ｓ ｈ
见 文 档 进 行 全文 检 索 的 电子文 档 全 文 检索 系 统 ， 并
索 引处 理 的核 心 主要 包 括 文本 采 集 、 文本 转 换
在 此 系统 的基 础 上研 究如 何 提高全 文 搜索 引擎 的精 和索 引创 建 等模 块 。文本 采集 负 责从指 定 位置 如互 度 、 能 和用 户体 验 ， 性 尤其 是 对 中文分 词 等方 面进 行 联 网 中发现 并获 取可 进行 索 引处 理 的资源 ， 网页 、 如 深人 的研 究并 做适 当的改 进 。 电子邮件 、 新闻等文档， 这部分功能通常由爬 网程序