一种基于Lucene的中文全文检索系统
基于Lucene的全文检索系统研究与实现
、 、▲
Ｌ ｉ ｓ ｔ （ ２ 字 长 词）
Ｌ ｉ ｓ ｔ （ ３ 字 长 词）
Ｌ ｉ ｓ ｔ （ ４ 字 长 洲）
● ● ● ● ● ●
图２ 字 典 数 据 结 构
３ ． １ ． ２ 基 于双 向最大 匹配 的中文分词 算法 基于 字典 的分词方 法 又叫机械 分词算 法 ， 这种算 法按 照一定 的策 略将 待分 析 的汉 字 串与一 个 “ 充
７ ８
浙 江外 国语 学院 学报
２ ０ １ ３皋
２ ． １ 文 档归 一化模 块
文 档归 一化模 块 主要 完成 对待 检索文 档 的预处理 ， 主要有 两个 功能 ： 一是 支 持将 ． ｐ ｄ ｆ ， ． ｐ ｐ ｔ ， ． ｄ ｏ ｃ等
文本解 码并 转化为 ． ｔ ｘ ｔ 文件 ； 二是 对文本 内容 进行过 滤 ， 取 出可 能存在 的非法 字符 和乱码 ． ２ ． ２ 文 本分 析模块
分 大” 的机 器词典 中的词条进 行 匹配 ， 若 在词 典 中 找到某 个 字 符 串 ， 则 匹 配成 功 ， 识 别 出一 个 词 ］ ． 文 中， 我们 提出 的匹配算 法是 正 向匹 配 与逆 向匹配 相 结 合 的算 法 ， 算 法 流程 如 下 ： （ １ ） 导 人 待 分词 的文 本， 利用 Ｓ ｏ ｕ ｇ ｏ ｕ词库构 建按 字长构 建字 典数据结 构 ． 然后 ， 将 待分 词文本 按照不 同类 型 （ 如 普通 中文 字
文 本分 析模块 主要 实现对 元文件 文档 附属信 息 的提取存 储和 通过 文本 分 析器 对 中文 内容 的分 析
与构建 倒排 索引 ． 文档相 关 附属 信 息 （ 如作 者 、 时间、 单位 、 文 件存 放 目录等 ） 直 接存 储 在数 据 库 中； 而 对于摘要 内容 和正 文 内容 信息 ， 由于 信息量 较大 ， 我们通 过文 本分析 器实 现 中文 自动 分词 ， 再 利用 Ｌ ｕ — ｃ ｅ ｎ ｅ的索引模 块实 现倒排 索引 的 自动构 建 ． Ｌ ｕ ｃ ｅ ｎ ｅ自带 有 中文 自动 分 词 系统 ， 但 性 能一 般 ， 为此 我们
基于Lucene全文检索系统的研究与实现
基于Lucene全文检索系统的研究与实现[摘要] lucene是一个开放源代码的全文检索引擎工具包,利用它可以快速地开发一个全文检索系统。
利用lucene开发了一个全文检索系统,通过其特殊的索引结构,实现了传统数据库不擅长的全文索引机制,提供了对非结构化信息的检索能力。
[关键词] lucene 信息检索全文检索索引一、引言计算机技术及网络技术的迅速发展,使得internet成为人类有史以来资源最多、品种最全、规模最大的信息资源库。
如何在这海量的信息里面快速、全面、准确地查找所需要的资料信息已经成了人们关注的焦点,也成了研究领域内的一个热门课题。
这些信息基本上可以分做两类:结构化数据和非结构化数据(如文本文档、word 文档、pdf文档、html文档等)。
现有的数据库检索,是以结构化数据为检索的主要目标,实现相对简单。
但对于非结构化数据,即全文数据,由于复杂的数据事务操作以及低效的高层接口,导致检索效率低下。
随着人们对信息检索的要求也越来越高,而全文检索因为检索速度快、准确性高而日益受到广大用户的欢迎, lucene是一个用java写的全文检索引擎工具包,可以方便地嵌入到各种应用中实现针对应用的全文索引和检索功能。
这个开源项目的推出及发展,为任何应用提供了对非结构化信息的检索能力。
二、全文检索策略通常比较厚的书籍后面常常附关键词索引表(比如,北京:12,34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。
而数据库索引能够大大提高查询的速度原理也是一样,由于数据库索引不是为全文索引设计的,因此,使用like “%keyword%”时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,like对性能的危害是极大的。
如果是需要对多个关键词进行模糊匹配:like“%keyword1%”and like “%keyword2%”……其效率也就可想而知了。
基于Lucene的电子政务全文检索系统的设计与实现
ｎ ｒ ｖ ｌｆ ａｉ ｓ ｔｐ ｓ ｏ ｔ ｈ ｎ ｍｂ ｄ ｅ ｎ Ｄ ｍｉｏ ｄ ｃ ｍｅ ｔ ｈ ｓ ｐ ｐ ｎｒ ｕ ｅ ｅ ｒ ｖ ｌ ａ ｄ ｒｔ ｅ ａ ｒ ｖ ｒ ｕ ｙ ｅ ｆ ａｔｃ ｍｅ ｔｅ ｅ ｄ ｄ ｉ ｏ ｎ ｏ ｕ ｎ ． Ｔ ｉ ａ ｒ ｉｔ ｄ ｃ ｄ ａ ｎ ｗ ｒ ｔ ｅ ａ ｅｉ ｏ ｏ ａ ｅ ｏ ｅ ｉ
２． Ｈｕ ｈ ｕ Ｃ ｔ ｕ ｌ ｅ ｕ ｉ ｕ ｅ ｕ Ｈｕ ｈ ｕ ３ ３ ０ ｚ ｏ ｉ Ｐ ｂｉ Ｓ ｃ ｒ Ｂ ｒａ ， ｙ ｃ ｙ ｔ ｚ ｏ １ ０ ０， Ｃ ｉ ａ ｈｎ ；
３ ａｇｈ ｕＺ ｉｕＳｆ ａ ｉｉ ｄＣ ｍ ａｙ ａ ｇｈｕ３ ０ １ ，Ｃ ｉａ ．Ｈ ｎ ｚｏ ｈ ｉ ｏ ｗ ｒ Ｌｍ ｔ ｏ ｐｎ ，Ｈ ｎ ｚｏ １０ ２ ｈｎ ） ｊ ｔ ｅ ｅ
ｍ ｔ ｄｂｓｄ ｏ ａａＬ ｃｎ ｄｔ ｔ ｒ ｐ ｎＳＵ ｅｃｍ ｌ ｅ ｔ ｏｓｌ ｅｍ ｎ ｏ ｅ ｒ ｌ ｓ ｍ ｅ ｖ ｒ ｅ ｏ ａｅ ｈ ｎｊｖ ｕ ｅｅａ ｈ ｏｈ ｅ ｌ ｏ ｐ ｍ ｎ ｔ ｏ ｅ ｔ ｅ ｔ ｎ ｐｏ ｅ ，ｇ ｎ ｄａｆ ｏ— ｎ ｅ ｅ ｏ Ｏ￣ ｅ ｖ ｈ ｉ ｄ ｂｍ ａ
［ 摘 要］ 文章分析 了目前基于 Ｄ ｎｎ 平台开发 的电子政务 系统 的全文检索 系统存在着检索 内容丢失 、系统响 ｏｆｏ ｉ
应慢以及 不能针好文档中嵌入 的各 种格 式的附件作 索引和 内容查找等不足之处 ， 出 于 Ｊ ａ ｕ ｎ 开疆 框架 ，并与 提 基 ａ ｃｅ ｖＬｅ
基于Lucene的全文检索系统研究
—■Ｉ
基 于 Ｌ ｃｎ ｕ ｅ ｅ的全文检 索 系统 研究
薛 萍
天津 ３０ ８ ） ０ ３ ７ （ 津师 范大 学计 算机 与信 息工 程学 院 天 ［ 摘 要 ］ 息时代 的 到来， 信 使数据 不 仅在 数量 还是 多样 性 有 了很 大 变化 。而 Ｌ ｃ ｎ 全 文检 索就 是， 代信 息 检索 领域 中被 广泛 应用 的 重要 技术 之一 。所 ｕｅ ｅ 现 以本文 首先 介 绍全文 检 索及 系统 的概 念 ， 次是 Ｌ ｃ ｎ 其 ｕ ｅ ｅ的系统 结构 和 实现 机制 。最后 讨 论使 用 Ｌ ｃ ｎ ｕ ｅ ｅ工 具包 开发 系 统的 实 际应用 问题 。 ［ 关键 词］ 全文 检 索 ｌ ｃ ｎ 索 引 ｕｅｅ 中 图分类 号 ：Ｐ ９ Ｔ ３ 文 献标 识码 ： Ａ 文章编 号 ：０９ ９４ （０ ０ ３— ４ ９Ｏ １０ — １Ｘ ２ １） ３０ ｌ ｌ
２全文 检 素与 全 文检 索系 统 全文 搜索 就是 以文 本数据 为主 要处 理对 象， 基于全 文表 引， 使用 自然 语言 进 行检 索 的技术 。也就 是通 过计 算机 索 引程序 扫描 和分析 文 章 中的每 一个字 或 者词 ， 对其相 应 的建立 一个 索 引， 来指 明它 所 出现 的 次数和 位 置 当用户查 询时， 就可 以根据 建 立好 的索 引进行 查找， 并将 结果 反馈 给用 户 的方式 。 全文搜 索是 现代信 息检索技 术 的重要分支 之一， 它是处 理非 结构化数 据 的 强大工 具， 也是搜 索 引擎 的核 心技 术之 一 全文检 索 系统是 按照 全文检 索 理论建 立起 来 的用于提 供 全文检 索服 务 的 软 件系 统。 全文检 索 系统 需要具 备建 立索 引和 提供 查询 的基 本功 能外 ， 需要 还 方 便的用 户 接 口， 向万 维 网 的开发 接 口和二 次应 用 开发 接 口等等 。 面 全文 检 索系 统 的核 心 功 能具 有 建立 索 引 、处理 查 询 返 回结 果集 、增加 索 引 、优 化索 引结 构 等等 功 能 ， 围则 由各种 不 同的应 用 系 统 组成 。 外
基于Lucene的全文搜索引擎的设计与实现
图 １ Ｌ ｃｎ ｕ ｅ ｅ系 统 的 结 构 组 织 图
２ Ｌｕｅ ｅ的 系统 结 构 分析 ｃｎ
２ ２ ｏｇ ａａｈ ． ｃｎ ．ｉ ｅ 索 引 包 是 整 个 系 统 核 心 ， ． ｒ ．ｐ ｃ ｅ ［ ｅ ｅ ｎ ｘ ｕ ｄ 主 要提 供 库 的读 写 接 口 ， 过 该 包 可 以创 建 库 ． 加 删 除 记 录 及 通 添 读 取 记 录等 。 全文 检索 的根 本 就 为 每 个 切 出来 的词 建 立 索 引 ， 查 询 时 只需 要遍 历 索 引 ， 不 需 要 遍 历 整 个 正 文 ， 而 极 大 地 而 从 提 高 了检 索 效率 ， 引 创 建 的 质 量 直 接 关 系 整 个 系统 的 质 量 。 索 Ｌ ｃｎ 的索 引 树 是 非 常 优 质 高 效 的 ， 这 个 包 中 ， 要 有 Ｉ ． ｕｅ ｅ 在 主 ｎ
查 询结 果 。 图 １是 Ｌ ｃｎ ｕｅ ｅ系 统 的结 构 组 织 图 。 ２． 分析 器 Ａｎ ｌｚｒ 分 析 器 主 要 用 于 切 词 ， 段 文 档 输 入 １ ａｙ ｅ 一
以后 ， 过 Ａ ａ ｚｒ 输 出 时 只剩 下 有 用 的 部 分 ， 他部 分 被 剔 经 ｎ ｌ ｅ， ｙ 其 除 。 分析 器提 供 了抽 象 的接 口 ， 因此 语 言 分 析（ ｎ ｌ ） Ａ ａ ￣ｒ 是可 以 ｙ 定 制 的 。因 为 Ｌ ｃｎ 缺 省 提 供 了 ２个 比较 通 用 的 分 析 器 Ｓ ｕｅ ｅ ｉ ｍ． ｐ Ａ ａ ｓ 和 Ｓａ ｄｒ Ａ ａ ｓｒ 这 ２个 分 析 器 缺 省 都 不 支持 中 ｌ ｅ ｌｅ ｎ ｙ ｒ ｔｎ ａｄ ｎ ｌ ｅ， ｙ 文 ， 以 要加 入 对 中 文 语 言 的 切 分 规 则 ， 要 修 改 这 ２个 分 析 所 需
基于Lucene的全文检索引擎研究与应用
Ａｂ ｔａ ｔＲａ ｉ ｃ ｕ ｌｔ ｎｏ ｒ ｅ ｅ ｔｒ ｉｅ ｆｅｔｖｌ ｎ ｅ ｉｇ ｉｆｒ ａｉｎ ｒｓ ｕｃ ｓｉ ｏ ｐ ｌｅｈｇ ｓｒ ｃ ： ｐｄ ａｃ ｍｕａｉ ｆｌ ｇ ｎｅｐｒ ｓｅｆｃｉｅｙ ｉｄ ｘｎ ｎｏｍ ｔ ｅｏ ｒｅ ｓｔ ｍｖｄ ｉｈ— ｑ ａｉ ｓａ ｃ ｅｖｃｓ ｏ ａ ｓ ｏ ｕｌｙ ｅｒｈ ｓｒ ｉｅ ． ｔ
部分使 用ｌ 引。
是以各种计算机数据诸 如文字 、 声音 、 图像等为处理对
象， 提供按照数据资料 的内容 而不 是外在 特征来 实现 的信息检索手段［ 。在 索引 中创建一个包含一系列用 川 户搜索条件 的查询 ， 它能 帮助人们进 行大 量文档 资料
Ｌ ｃｎ 作为一个全文检索 引擎 ， ｕｅｅ 其具 有如 下突 出 的优点 ：
中图分 类号 ： Ｉ ９ 、 Ｔ） １３ ３ 文献 标识码 ： Ａ 文章 编号 ：６ ３ ６ ９ （ ０ ７ ０ ～０ ８ —０ １７ — ２ Ｘ ２ ０ ） ５ １４ ３
Ｒｅｅ ｒ ｈ ａ ｄ Ａｐｐｌｃ ｔｏ ｆＦｕ ｌＴｅ ｔＳ ａ ｃ ｓａ ｃ ｎ ｉａ ｉ ｎ ｏ ｌ ｘ ｅ ｒ ｈ ＥｎｇｎｅＢａ ｅ ｎ Ｌｕ ｅ ｅ ｉ ｓｄ ｏ ｃ ｎ
ｔｏ ｘ ｍｐ ｅ ｉｎ ｅ ａ ｌｓ
Ｋｅ ｒ ｓ ｕｌ ｅ ｔｓａ ｃ ｉｄ ｘｎ ａ ｐｉｄ ｒｓａ ｃ ／ ｅｎ ｙｗｏ ｄ ：ｆ ｌ—ｔｘ ｅ ｒｈ；ｎ ｅ ｉｇ； ｐ ｌ ｅｅ ｒｈ Ｌｕ ｅ ｅ ｅ
０ 引 言
随着计算机技术 及 网络 技术 的迅速发 展 ， 电子 文
１ 基 于 Ｊｖ ａａ的 全 文 检 索 引 擎＿Ｊｋ ｒ ａ ａｔ ａ
Ｌｕ ｅ ｅ ｃｎ
档数 目急剧膨胀 ， 在这海Biblioteka 的信息 里面快 速、 面、 全 准
基于Lucene的全文检索系统的研究与实现
等 均达 到 了设 计要求 。 关 键词 ： 文检 索 ； 引 ； 息检索 全 索 信 中图分类 号 ： Ｐ ｌ ． Ｔ ３ １５ 文献 标识 码 ： Ａ 文章 编号 ：６ ３ ６ ９ ２ １ ）７ ０
Ｒｅ ｅ ｒ ｈ ａ ｍ ｐ ｅ ｅ ｔ ｔｏ ｏ ｌ－ ｘ ｓ ａ ｃ ｎｄ Ｉ ｌ ｍ ｎ ａ ｉ ｎ ｆＦｕ ｌ Ｔｅ ｔ
es深度分页原理
es深度分页原理
ES (Elasticsearch) 是一种基于Lucene的全文搜索引擎，它的深度分页原理涵盖了搜索、文档管理、索引和调优等多个方面。
下面简单介绍ES的深度分页原理。
在ES中，分页的原理是基于搜索结果的检索，ES默认返回10条文档。
当用户需要获取更多的结果时，就需要翻页。
ES最初使用的是深分页方法，即当用户请求某一页时，ES需要搜索所有之前的结果，直到找到请求的结果页，由于这种方法需要大量的内存，查询效率低下，ES不建议使用。
ES推荐的分页方法是基于搜索上下文(Scroll)的深度分页，它会在第一次检索时建立一个只客户端可见的索引上下文，并返回一个scroll_id（或上下文ID），在客户端不断使用scroll_id分页，直到得到需要的结果为止。
当用户请求第一页时，ES创建一个初始搜索上下文，并返回第一页的结果和scroll_id，客户端使用scroll_id获取下一页的结果，这个搜索上下文可以捕捉到所有未返回的搜索结果。
当用户请求下一页时，ES会给搜索上下文提供下一页的搜索结果并更新上下文，客户端通过scroll_id获取下一页的结果。
这种方法相对于深分页方法速度更快，因为查询只需要作用于新加入的文档。
总之，ES的深度分页原理是通过建立一个只数据库能确定的上下文来获取需要的数据，之后只需根据上下文ID循环获取，避免不必要的搜索，提高检索效率。
基于Lucene2.0的电子文献全文检索系统
ａ ｏ ｌｏ ｓａ ｌ ｈ ｎ ｎ ｅ ｒ ｈ ｎ ｎ ｅ ． ｉ ｅ ｔｇｖ ｓａ ｆ ｌ ａ ａｙ ｉ ｆｓ ｍｅ ｋ ｙ ｔｃ ｎ ｑ ｅ ｐ ｉ ｔ ｂ ｕ ｃ ｎ ｎ ｌｚ ｒ ｓ ａｔｏ ｆｅ ｔｂ ｉ ｉ ｇ ａ ｄ ｓ ａ ｃ ｉ ｇ ｉｄ ｘ Ｔｈ ｓｔｘ ｉｅ ｕ ｌ ｎ ｌｓｓｏ ｏ ｅ ｅ ｈ ｉ ｕ ｏｎ ｓａ ｏ ｔＬｕ ｅ ｅ ａ ａ ｙ ｅ， ｓ
ｉ ｂ ｅ ｔ ｒｅ ｉ ｔ ｌ ｋ ｎ ｓ ｏ ｕ ｌ ｔｘ ｎ ｅ ｎ ｅ ｒ ｈｎ ，Ｉ ｈ ａ ｉｕ ｏ ｏ ｅ ｔ ｆｓ ａ ｃ ｎ ｉ ｅ ｓａ ｌ ｏ ｍｅ ｇ ｎ ｏａｌ ｉｄ ｆｔ ｌ－ ｅ ｔｉｄ ｘ ａ ｄ ｓ ａｃ ｉｇ ｎ ｔｅ ｖ ｒｏ ｓｃ ｍｐ ｎ ｎ ｓｏ ｅ ｒ ｈ ｅ ｇｎ ，Ｌｕ ｅ ｅ ｐ ａ ｓｉ ｏｅ ｅ ｎ ｌｙ ｔ ｒ ｌ ｓ
序 就 根 据 事 先 建 立 的索 引进 行 查 找 。 将 查 找 的 结 果 并
反 馈 给 用 户 的 检 索 方 式 这 个 过 程 类 似 于 通 过 字 典 中 的 检 索 字 表 查 字 的 过 程
２２全 文 检 索 系统 ．
全 文 检 索 系 统 是 按 照 全 文 检 索 理 论 建 立 起 来 的
维普资讯
，
本 栏 目责任编 辑 ：闻翔 军
数 拊 库 及 信 息 管 ． ．
基于 Ｌｃ ｎ ２０的 电子文献全文检 索系统 ｕｅ ｅ ．
周 珍 娟 ， 字 平 ， 玲 张 陆
（ 东华理 工 大 学 信 息 工 程 学 院 ， 西 抚 州 ３ ４０） 江 ４ ０（ ）
Ｌ ｃｎ ２０的 电 子 文 献 全 文 检 索 系 统 的 实 现 ｕｅｅ ．
关 键 词 ： ｕ ｅ ｅ ．； 文捡 索 ： Ｌ ｃｎ ２（ 全 ） 中文 分 词
基于Lucene的非结构化文档全文检索系统研究与实现
为进一步提升气象信息管理软实力 ， 促 进 气 象 信 息 管 理 向标 准 化 、 数 字 化 方 向转 变 ， 本 文 设 计 并 实 现 了 国 家 级
文档信息 。 （ ３ ） 快 速 响应 业 务 现 状 的 变 化 ， 数 据 库 和 检 索 结 果 即
的 集 中检 索 与 管 理 ， 从 而 对 未 来 提 升 整 个 部 门 的文 档 管 理
０ 引 言
大 数 据 时代 的到 来 使 得 可利 用 的数 据 和信 息 量 越 来越 多 。面 对超 负 荷 的 海 量 数 据 ， 信 息 检 索 技 术 帮 助 人 们 在 海
和使用效率具有重大意义 。
第１ ２ 第１ ｏ Ｎ ２ ０ １ ３ 年 １ ０ 月
软 件 导 刊
Ｓｏ ｆ ｔ ｗａ ｒ ｅ Ｏｕｉ ｄ ｅ
ＶＯｌ ＿１ ２ ＮＯ．１ Ｏ Ｏｃ ｔ ．２０ｌ ３
基于 Ｌ ｕ ｃ ｅ ｎ ｅ的 非 结 构 化 文 档 全 文 检 索 系 统 研 究 与 实 现
刘 东君 ， 李德 泉 ， 周 勇 ， 周峥 嵘
查 找 有 关 资料 信 息 ， 帮 助 用 户 准 确 把 握 气 象信 息化 发 展 脉 络 。
关键词 ｉ 非 结 构 化 文档 ； 全文检 索； Ｌ ｕ ｃ ｅ ｎ ｅ ； 索 引文 件
中 图分 类 号 ： ＴＰ ３ １ ９
文献标识码 ： Ａ
文章编号 ： １ ６ ７ ２ — ７ ８ ０ ０ （ ２ ０ １ ３ ） ０ ０ １ ０ — ０ １ ０ ０ — ０ ３
技术 ， 具 有 良好 的 扩 展 性 ， 能 够 实 现 部 门 内 各 类 办 公 文 档
（ ４ ） 系 统 具 备 良好 的 可 扩 展 性 和 易用 性 。
使用Apache Lucene进行全文检索和信息检索
使用Apache Lucene进行全文检索和信息检索随着数据量的日益增长，信息的获取和管理也变得越来越困难。
在这样的背景下，全文检索技术备受关注。
全文检索是指通过对文本内容进行扫描和分析，快速地查找出包含指定关键字或短语的文本，以满足用户的需求。
Apache Lucene是一款强大的全文检索引擎，具有高效、可靠、易于扩展等特点，广泛被运用于信息检索、文本分类、数据挖掘等领域。
一、Lucene的基本原理Lucene是一款基于Java语言的全文检索引擎，能够快速地在海量数据中查找指定的文本。
Lucene的检索原理可以简单地描述为：将需要检索的文本输入Lucene，Lucene建立索引文件，用户查询文本时，Lucene在索引文件中查找匹配结果，返回用户所需的信息。
Lucene的基本原理如下：1. 建立索引建立索引是Lucene进行全文检索的第一步。
在索引过程中，Lucene会对文本进行解析、分词、词语过滤等处理，然后将这些处理后的词语和其所在的文档信息存储到索引文件中。
通过如此的操作，Lucene做到了在指定时间内，快速地查找指定文本。
2. 查询当用户输入需要检索的文本时，Lucene会对该文本进行同样的预处理，得到其中的每个单独词语，并在索引文件中查找与该词语相匹配的文档。
Lucene采用了先搜索后排名的检索策略，即先找到与关键词匹配的文档，然后再通过算法对得到的结果进行排序，得出匹配度最高的文档。
3. 返回结果Lucene的返回结果是一个文档对象，其中包含了原始文本、关键词匹配的位置和得分等信息。
在大多数情况下，返回的文档对象并不是用户真正想要的结果，需要进行二次过滤和排序，才能得出目标结果。
二、Lucene的基本使用Lucene的使用可以简单地分为以下几个步骤：1. 创建索引创建索引是Lucene进行全文检索的第一步，也是最重要的一步。
在创建索引前，需要准备好需要检索的文本文件。
Lucene支持的文本格式包括txt、doc、pdf等。
一种基于Lucene的Web全文信息检索系统的设计与实现
ｍ ｒｅ ｎｈｌ ｎ Ｂ ｄＯ ｃ ｅ ｅ ｅ
（ｃｏｌ ｆ ｏ ｐｔ ｉ ｃ ｎ ｅｈｏ ｇ，ＳｏｈｗＵ ｖｍ￣， ｕｈｕ １０６ Ｃｉａ Ｓｈｏ ｏ Ｃｍ ｕｅ Ｓ ｅ ｅａｄＴｃｎｌ ｙ ｃ ｃｏ ｍ ｅ ｉ Ｓｚｏ ２５０ ， ｈ ） ｒ ｎ ｃ ｏ ｎ
Ａｈ ￣ ： ｈｓｐｐ ｒｄ ｓｒ ｅ ｈ ｅｉｎ ａｄｉ ｌｍｅ ｔｔ ｎｏ ｂｆｌ ｔ ｔ ｎｏｍａｉｎｒｔｅ ａ ｓｓｅ ｂｓ ｄｏ ｕ ｅ ｅ ｇｖ ｓｔｅ Ｔ ｌ ａｅ ｅｃｉ ｓｔｅｄ ｓｇ ｂ ｎ ｍｐｅ ｎａ ｏ ｆａＷｅ ｌ ｅ ｆｒ ｔ ｅ ｉｖｌ ｙｔｍ ａｅ ｎＬ ｃｎ ，ｉｅ ｉ ｕ－ ｘ ｉ ｏ ｒ ｈ
１ 系统设计
Ｗｅ 信息检索可分为以下 ３ ｂ 个主要组成或蜘蛛对指定站点 利用 资源 （ 基本 网页、 其他可转化 为 文本格式 的 Ｏ ｉ 、 Ｅｅ ｃ ＰＦ Ｄ 等文件、 音频和视频多媒体文件 ） 的遍历 和定制 下载 ， 提取所需信息。 （） ２文档索引： 将预处理的信息转化成索引库 。 （） ３信息检索 ： 用户发出查询请求 ， 系统通过索引 库进行检索 ， 基于匹配策略按照相关度返 回结果集 ， 并提供相关的查询扩展以提高用户的满意度。
一
种基 于 Ｌｃｎ ｕｅｅ的 Ｗｅ 全文信息检 索 ｂ 系统 的设计与实现
张 晓卫 ， 朱巧 明
（ 苏州大学计算机科学与技术学院， 江苏 苏州 １０６ ２５０）
摘要 ： 详细描述了利用Ｉ￣ ｅ ２￣ 全文索引工具包设计与实现的一个 Ｗｅ 全文信息检 索系统， １ｎ ｂ 给出了系统的设计框架和各 个组成模块的实现技术， 介绍了系统实现中的检索策略和算法。为了 提高系 统的检索性能。 本文提 出并实现 了利用链入 锚文本和链接分析对检索结果进行重新排序， 有效提高了 检索的准确率。 关键词： 信息检索； 锚文本； 链接分析；ｕｅ Ｌｃ ｅ ｎ
基于Lucene的MYSearch全文搜索引擎
Ｋｅ ｒ ｓ：ｆ ｌ ｔｘ ｅ ｒ ｈ ｅ ｇｎ Ｌ ｃ ｎ ｅ； ｈ ｎ ｓ ｏ ｄ ｓ ｇ ｎ ａ ｉｎ；ｎ ｅ ｙ ｗｏ ｄ ｕ ｌ ｅ ｔ ｓ ａｃ ｎ ｉ ｅ； ｕ ｅ ｃ Ｃ ｉ ｅ ｅ ｗ ｒ ｅ ｍｅ ｔｔ ｏ ｉｄ ｘ
可 以 直 接 作 为 查 询 工 具 使 用 ， 只 是 为 全 文 搜 索 引 擎 的 而 构 建 提 供 了 基 本 的 工 具 和 设 计 方 法 。Ｌ ｃｎ ｕ ｅ ｅ提 供 了 一 系 列 Ａ Ｉ 能 够 对 文 档 进 行 预 处 理 、 滤 、 析 、 引 和 检 Ｐ， 过 分 索
责 将 抓 取 的 网 页 内容 进 行 切 词 处 理 并 自动 进 行 标 引 ， 建
立 索 引 数 据 库 ； 询 器 根 据 用 户 查 询 条 件 检 索 索 引 数 据 查 库 并 对 检 索 结 果 进 行 排 序 和 集 合 运 算 ， 提 取 网 页 简 单 再 摘 要信 息反馈 给查询 用户 。
引 擎 也 并 不 是 遥 不 可 及 的 事 情 。 本 文 主 要 针 对 Ｌ ｃ ｎ ｕｅ ｅ
Байду номын сангаас
２ ＭＹ ｅ ｒｈ工 作 流 程 Ｓ ａｃ
２． 搜 索 引 擎 的 基 本 构 成 １ 搜 索 引 擎 系 统 一 般 由蜘 蛛 （ 叫 网 页 爬 行 器 ） 切 词 也 、
器 、 引 器 、 询 器 几 部 分 组 成 。 蛛 负 责 网 页 信 息 的 抓 索 查 蜘 取 工 作 ； 般 情 况 下 切 词 器 和 索 引 器 一 起 使 用 ， 们 负 一 它
索 排 序 。本 文 就 是 在 Ｌ ｃｎ ｕ ｅ ｅ基 础 上 构 建 了一 个 全 文 搜 索 引 擎 ＭＹ ｅｒｈ。 Ｓ ａｃ
es全文检索字段类型
es全文检索字段类型
ES（Elasticsearch）是一种基于Lucene的分布式全文搜索引擎，它具有强大的搜索和分析能力。
在ES中，可以使用不同类型的字段来定义索引中的数据类型。
以下是ES常用的字段类型：
1、Text（文本类型）：用于存储长文本数据，会分词并建立倒排索引，支持全文搜索和模糊匹配。
2、Keyword（关键词类型）：用于存储短文本数据，不会分词，支持精确匹配和聚合操作。
3、Numeric（数值类型）：包括整型（integer）、长整型（long）、短整型（short）、字节型（byte）、双精度浮点型（double）、单精度浮点型（float）等。
4、Date（日期类型）：用于存储日期和时间数据，支持包括范围查询、日期格式化和日期计算等操作。
5、Boolean（布尔类型）：用于存储布尔值（true/false）。
6、Object（对象类型）：用于存储复杂结构的数据，可以嵌套其他字段。
7、Geo（地理位置类型）：用于存储经纬度等地理位置信息，支持地理位置查询和距离计算。
8、Binary（二进制类型）：用于存储二进制数据，如图片、音频或视频等。
这些是ES中常用的字段类型，根据实际需求，可以选择合适的字段类型来存储数据，并为搜索和聚合操作提供更好的支持。
Lucene检索数据库支持中文检索
全文分两部分：一：Lucene简介Lucene版本：3.0.2全文检索大体分两个部分：索引创建（Indexing）和搜索索引（Search）1. 索引过程：1) 有一系列被索引文件（此处所指即数据库数据）2) 被索引文件经过语法分析和语言处理形成一系列词(Term)。
3) 经过索引创建形成词典和反向索引表。
4) 通过索引存储将索引写入硬盘。
2. 搜索过程：a) 用户输入查询语句。
b) 对查询语句经过语法分析和语言分析得到一系列词(Term)。
c) 通过语法分析得到一个查询树。
d) 通过索引存储将索引读入到内存。
e) 利用查询树搜索索引，从而得到每个词(Term)的文档链表，对文档链表进行交，差，并得到结果文档。
f) 将搜索到的结果文档对查询的相关性进行排序。
g) 返回查询结果给用户。
• 索引过程如下：◦创建一个IndexWriter用来写索引文件，它有几个参数，INDEX_DIR 就是索引文件所存放的位置，Analyzer便是用来对文档进行词法分析和语言处理的。
◦创建一个Document代表我们要索引的文档。
◦将不同的Field加入到文档中。
我们知道，一篇文档有多种信息，如题目，作者，修改时间，内容等。
不同类型的信息用不同的Field来表示，在本例子中，一共有两类信息进行了索引，一个是文件路径，一个是文件内容。
其中FileReader的SRC_FILE就表示要索引的源文件。
◦ IndexWriter调用函数addDocument将索引写到索引文件夹中。
• 搜索过程如下：◦IndexReader将磁盘上的索引信息读入到内存，INDEX_DIR就是索引文件存放的位置。
◦创建IndexSearcher准备进行搜索。
◦创建Analyer用来对查询语句进行词法分析和语言处理。
◦创建QueryParser用来对查询语句进行语法分析。
◦QueryParser调用parser进行语法分析，形成查询语法树，放到Query 中。
基于Lucene全文检索引擎的应用研究
擎 系 统 。 系 统 结 构 图 如 图 １所 示 。
从 图 １看 到 Ｌ ｃｎ ｕ ｅ ｅ系 统 是 由基 础 结 构 封 装 、 引 核 索 心 、 外 接 口三 大 部 分 组 成 。 其 中 索 引 核 心 部 分 是 系 统 对
的 重 点 。 Ｌ ｃｎ ｕ ｅ ｅ中共 有 ７个 子 包 ， 个 包 的 具 体 功 能 见 每 表 １ ，核 心 类 包 主 要 有 ：ｏｇ ｐ ｃ ｅ１ｃ ｎ ．ａ ａ ｓ ； ｒ． ｒ．ａ ａｈ ． ｅ ｅ ｎ ｌ ｉ ｏｇ ｕ ｙｓ
ａ ａ ｈ ．１ ｃ ｎ ．Ｉ ｄ ｘ ｏ ｇ ｐ ｃ ｅ． ｃ ｎ ．ｓ ａｃ ｐ ｃ ｅ ｕ ｅ ｅ ｎ ｅ ； ｒ ．ａ ａ ｈ １ ｅ ｅ ｅ ｒｈ。 ｕ
来 构 建 具 体 的 全 文 检 索 应 用 ，而 且 能 方 便 地 集 成 到 各
种 系 统 软 件 中 ，本 文 对 Ｌ ｃｎ ｕ ｅ ｅ进 行 深 入 的 研 究 和 分 析 ，
以 此 为 基 础 设 计 实 现 了 一 个 以 商 业 网 站 中 构 建 搜 索 引 擎 的实 例 。
１全 文 检 索 引 擎 Ｌ ｃ ｎ ｕｅｅ
１ １ Ｌ ｃ ｎ 概 述 ． ｕｅｅ
Ｌ ｃｎ ｕ ｅ ｅ是 用 Ｊｖ ａ ａ写 的 全 文 检 索 引 擎 工 具 包 ， 不 是 并
Ｉ ｈ ｓ ｈｇ ｃ ｅ ｓ ｐ ｅ ｔ ａ ｉｈ ａ ｃ ｓ ｓ ｅ ｄ，ｓ ｐ ｏ ｓ ｌ — ｓ ｒ ａ ｃ ｓｅ ａ ｄ ｃ ｎ ｂ ｓ ｄ ｉ ｒ ｓ －ｐ ａ ｏｍｗａ ｕ ｐ ｒ ｍｕ ｔ ｕ ｅ ｃ ｅ ｓ ｓ ｎ ａ ｅ ｕ ｅ ｎ ａ ｃ ｏ ｓ ｌ ｆ ｒ ｔ ｉ ｙ．Ｆ ｒｔ ， ｕ ｅ ｅ ａ ｄ ａ ｃ ｕ ｌ ｅ ｔ ｉ ｌ Ｌ ｃ ｎ ， ｎ ａ ｖ ｎ ｅ ｆ ｌ－ｔｘ ｓｙ ｒ ｔ ｅ ａ ｎ ｉ ｅ ｓ ｎ ｒ ｄ ｃ ｄ ｓ ｓｅ ｅｒ ｖ ｌ ｅ ｇ ｎ ｉ ｉ ｉｔｏ ｕ ｅ ，ｙ ｔｍ ｓ ｕ ｔ ｒ ， ｌ ｔｘ ｎ ｅ ｉ ｇ ａ ｅ ａ ａｙ ｅ ｎ ｅ ａｌＴ ｅ ｍｐ ｏ ｔ ｉ ｈ ａ ｐ ｉ ａｉｎ， ｅ ｎ ｔａｅ ｔ ｃｕ ｅ ｆ ｌ ｅ ｔ ｉ ｄ ｘ ｎ ｒ ｎ ｌｓ ｄ ｉ ｄ ｔ ｉ， ｈ ｎ ｅ ｌ ｙ ｉ ｎ ｔ ｅ ｐ ｌ ｔ ｒ ｕ ｃ ｏ ｄ ｍｏ ｓ ｔ ｒ ａ ｘ ｍｐ ｅ ｂ ｓ ｄ ｏ ｕ ｅ ｅ ｔｃ ｎ ｌ ｇ ． ｎ ｅ ａ ｌ ａ ｅ ｎ ｌ ｃ ｎ ｅ ｈ ｏ ｏ ｙ
基于Lucene的网站全文检索系统的开发
１３ Ｌ ｃｎ 的开 发模 式 ． ｕｅｅ
一
６３ —
维普资讯
表 １ Ｌ ｅｎ 开 发 包 结构 ｕｅｅ
Ｌｃｎ包结构功能表 ｕｅｅ
包 名 功 能
ｏ ． ａｈ ． ｅｎ ． ａｙｉ ｒ ａ ｃｅ１ ｅｅ ａ ｌｓ ｇ ｐ ｕ ｎ ｓ
基于 Ｌ ｃｎ 的网站全 文检 索系统 的开发 ｕｅｅ
潘 以锋
（ 东师 范大 学 华 上海 邮编 ：００２ ２０６ ）
摘 要 ：ｕｅｅ Ｌｃｎ 是一 个基 于 Ｊｖ ａａ的开放 源码全 文 索引 引擎 工具 包， 它可 以方便地 嵌入 到各 种应 用 系统 中实现 全 文 索引／ 索功 能。 检 文章介 绍 了如何 使 用 Ｌｃｎ ｕｅｅ开发定 制的 中文搜 索 引 擎 ， 网站提供 全 文搜 索功 能 ， 且对相 关 的技 术 问题进行 了探讨 。 为 并 关键词 ：ｕｅｅ 全 文检 索 Ｌｃｎ 搜 索引擎
检 索 功 能 。 目前 ，己经 有很 多 Ｊｖ 项 目都 使 用 ａａ Ｌ ｃｎ 作 为其后 台 的全 文索 引引擎 。 ｕｅｅ
１１ Ｌ ｃｎ 简 介 ． ｕｅｅ Ｌｃｎ ｕｅｅ的 系统 结 构 具 有 强 烈 的 面 向对 象 特 征 。 定义 了一个 与平 台无 关 的索 引文 件格 式 ， 它 将
ｏｇａ ｃｅ １ ｅｅｓａｃ ｒ．ｐ ｈ ． ｃｎ ． ｒ ａ ｕ ｅ ｈ ｏｇａ ｃｅ１ ｅｅ ｓ ｒ ｒ．ｐ ｈ ． ｅｎ ． ｏ ａ ｕ ｔｅ
ｏｇａ ｃｅ１ ｅｅｕｉ ｒ．ｐ ｈ ． ｅｎ ．ｔ ａ ｕ ｌ
装 、 引核心 、 索 对外接 口三 大部分 组成 。 中 ， 其 直接 操 作索 引文件 的索 引核心 又是 系统 的重 点 。ｕｅｅ Ｌｃｎ
基于Lucene的全文检索系统设计研究
Ｌ ｕ ｃ ｅ ｎ ｅ的 校 内 资 源 搜 索 引擎 系 统 进 行 了 设 计 与实现， 以期 为 此 类 研 究 与应 用 提供 有 益参 考 。
据，尽可能减少系统在磁盘操作上的消耗。此
外 ，在 Ｉ ｏ ｃ方 面 ，在 需 要 效 率 的 地 方 应 该 考 虑
参考文献
［ １ ］ 陈立． 全 丈检 素 ｉ ｌ 擎 的设 计 研 究 … ． 现
通 过 比 对 线 程 数 的 效 率 ， 测 试 结 果 显
示 查询速 度 快，但 也存 在一 一 定 的 问题 ，比如
Ｌ ｕ ｃ ｅ ｎ ｅ 对 索 引 做 了 大 量 的 优 化 和 改 善 ， 但 涉
功能实现上 ，应着 眼于效率 问题 。本文就基于
９ ４ ・电子技 术与 软件 工程
Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ＆Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ
４ 系 统 性 能测 试
４ ． １测 试 环 境 （ Ｌ ）主 要 硬 件 环 境 ：Ｉ ｎ ｔ ｅ ｌ Ｐ ｅ ｎ ｔ ｉ ｕ ｍ Ｄ ２ ． ８ Ｇ
ｗｉ ｔ ｈ ２ Ｃｏ ｒ ｅ ｓ ：２ Ｇ ＤＤＲ ２
及 到磁 盘操 作 仍 是 整 个 系 统 最 慢 的环 节 ， 因此 ， 在运用 Ｌ ｕ ｃ ｅ ｎ ｅ的 时 候 ， 应 该 尽 可 能 的 首 先 将 索 引 写 到 内 存 中 ， 然 后 再 写 到磁 盘 上 ， 其 次 ， 在 写 磁 盘 的 时 候 ， 应 该 尽 可 能 一 次 性 写 大 量 数
不 需 要 太 多 效 率 的 地 方 应 该 考 虑 使 用 这 些 依 赖
注入框架。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
—94—一种基于Lucene 的中文全文检索系统苏潭英1，郭宪勇2，金 鑫3（1. 解放军信息工程大学电子技术学院，郑州 450004；2. 北京飞燕技术公司，北京 100072；3. 解放军通信指挥学院，武汉 430010）摘 要：在开源全文索引引擎Lucene 的基础上，设计了一个中文全文检索系统模型，该模型系统由7个模块组成，索引模块、检索模块是其中的核心部分。
论述了模型的整体结构，分析设计了索引及检索模块，通过具体的索引技术和检索技术来提高整个系统的检索效率。
该系统增加了加密模块，实现对建立的全文索引进行加密处理，增强了信息的安全性。
关键词：全文检索；Lucene ；倒排索引Chinese Full-text Retrieval System Based on LuceneSU Tan-ying 1, GUO Xian-yong 2, JIN Xin 3(1. Institute of Electronic Technology, PLA Information Engineering University, Zhengzhou 450004; 2. Technology Company of Beijing Feiyan,Beijing 100072; 3. Institute of PLA Communication Command, Wuhan 430010)【Abstract 】This paper proposes a model of Chinese full-text retrieval system based on Lucene which is an open source full-text retrieval engine,and expatiates its frame. This model is composed of seven modules, among which the index module and the search module are the core parts. It designs them concretely, and improves the search efficiency of the full-text retrieval system with index technology and search technology. The system model concludes an encryption module to encrypt the index and increases the system security. 【Key words 】full-text retrieval; Lucene; inverse index计 算 机 工 程Computer Engineering 第33卷 第23期Vol.33 No.23 2007年12月December 2007·软件技术与数据库· 文章编号：1000—3428(2007)23—0094—03文献标识码：A中图分类号：TP3911 中文全文检索系统全文检索技术是一个最普遍的信息查询应用，人们每天在网上使用Google 、百度等搜索引擎查找自己所需的信息，这些搜索引擎的核心技术之一就是全文检索。
随着文档处理电子化、无纸化的发展，图书馆、新闻出版、企业甚至个人的电子数据激增，如何建立数据库、管理好自己的数据，是亟待解决的问题，而全文检索是其中一个非常实用的功能。
全文检索产品实际上是一个内嵌该项技术的数据库产品[1]。
西文的全文检索已有许多成熟的理论与方法，其中，开放源代码的全文检索引擎Lucene 是Apache 软件基金会Jakarta 项目组的一个子项目，它的目的是为软件开发人员提供一个简单易用的工具包，方便在目标系统中实现全文检索的功能。
很多项目使用了Lucene 作为其后台的全文索引引擎，比较著名的有：(1)Jive ：Web 论坛系统；(2)Cocoon ：基于XML 的Web 发布框架，全文检索部分使用了Lucene ；(3)Eclipse ：基于Java 的开放开发平台，帮助部分的全文索引使用了Lucene 。
Lucene 不支持中文，但可以通过扩充它的语言分析器实现对中文的检索。
本文在深入学习研究Lucene 的前提下，设计了一个中文的全文检索系统，对其核心的索引模块和检索模块进行了阐释，并添加了加密模块对索引信息加密，增强了系统的安全性。
2 系统的总体结构本模型总体上采用了Lucene 的架构。
Lucene 的体系结构如表1所示，它的源代码程序由7个模块组成。
表1 Lucene 的组成结构模块名功能 org.apache.Lucene.search 搜索入口 org.apache.Lucene.index 索引入口 org.apache.Lucene.analysis 语言分析器 org.apache.Lucene.queryParser 查询分析器 org.apache.Lucene.document 存储结构 org.apache.Lucene.store 底层IO/存储结构 org.apache.Lucene.util一些公用的数据结构本文通过扩充Lucene 系统来完成中文的全文检索系统，Lucene 包含了大量的抽象类、接口、文档类型等，需要根据具体应用来定义实现，本文对其作了如下扩充修改：(1)按照中文的词法结构来构建相应的语言分析器。
Lucene 的语言分析器提供了抽象的接口，因此，语言分析(analyser)是可以定制的。
Lucene 缺省提供了2个比较通用的分析器SimpleAnalyser 和StandardAnalyser ，但这2个分析器缺省都不支持中文，因此，要加入对中文语言的切分规则，需要对其进行修改。
(2)按照被索引的文件的格式对不同类型的文档进行解析，进而建立全文索引。
例如HTML 文件，通常需要把其中的内容分类加入索引，这就需要从org.apache.lucene.子document 中定义的类Document 继承，定义自己的HTMLDocument 类，然后将之交给org. apache.lucene.index 模块写入索引文件。
Lucene 没有规定数据源的格式，只提供作者简介：苏潭英(1981－)，女，硕士研究生，主研方向：数据库全文检索；郭宪勇，高级工程师；金 鑫，硕士研究生 收稿日期：2007-01-10 E-mail ：sutanyingwendy@了一个通用的结构(Document对象)来接受索引的输入，因此，输入的数据源可以是数据库，WORD文档、PDF文档、HTML 文档等，只要能够设计相应的解析转换器将数据源构造成Docuement对象，即可进行索引。
(3)设计具体的搜索查询。
Lucene提供了方便自建查询的API，通过QueryParser提供了强大的查询语言。
在实际应用中，要按Lucene查询语句解析器的语法设计具体的搜索器，其功能包括默认域的指定、搜索域的接收、索引库位置的接收、操作符的接收以及多个查询通过布尔操作符连接起来形成复杂的查询语句。
(4)设计检索结果的相关度。
这一部分设定文档与相关主题的准确程度，即文档符合查询要求的相似度，输出结果按此排序。
但Lucene对此不如扩充词法解析和文档类型那样条理清晰，没有留下很好的接口，因此，需要仔细地分析其源代码的实现，自行扩充。
经过扩充与设计，本文的中文全文检索引擎系统结构如图1所示。
图1 系统结构本系统中包含了语言分析模块、查询分析模块、检索结果排序模块、索引建立模块、检索模块、存储抽象模块等6个模块，它们是进行检索必备的部分。
另外，本系统充分考虑了信息的安全性，增加了一个加密模块，对所建立的全文索引进行加密。
3 系统中模块的分析与设计3.1 索引建立模块索引是全文检索的关键机制之一。
中文全文检索索引的建立比英文复杂得多，建立和维护全文检索索引库需要从以下3个方面考虑：(1)索引组织单元在西文中，文档的基本组成单元是单词，单词之间以空格间隔，而以单词为单位的索引实现起来比较简单，因此，西文的全文检索方面有许多比较成熟的理论，应用也很广泛。
中文全文检索技术在原理上同西文全文检索一致，但由于中文的词与词之间没有分隔符，因此其实现过程复杂得多。
在中文文档中，基本元素可以是单个汉字字符，也可以是词。
相应地，建立索引时就有2种基本的索引结构：基于字表的索引和基于词表的索引。
字表法把源文档中的每一个字的出现位置记录到索引库中，索引库对每个不同的字符都保存了一个字表，记录同一个字在文档中的所有出现位置。
词表法以能表达一定意义的词为基本独立单位建立索引库。
也有一些学者将2种方法结合，提出基于单元词的索引，但目前没有被广泛应用。
本文选用了字表法。
字表法对每个字的出现位置进行统计，并依据位置信息进行检索，不采用分词，实用性很强，查准率较高。
但单个汉字经常不具有独立的含义，因此，字表法在特定情况下会出现多检。
(2)索引组织方式无论是字索引还是词索引，全文检索的索引组织有正排表和倒排表2种方式[2]。
正排表是以文档的ID为关键字，表中记录项记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。
正排表结构如图2所示[3]。
图2 正排表的索引结构这种组织方法的结构比较简单，建立比较方便且易于维护，但是在查询时需要对所有文档进行扫描，以确保没有遗漏，这就大大延长了检索时间，降低了检索效率。
与大多数全文检索系统一样，本文的全文检索系统采用倒排表来组织索引。
倒排表以字或词为关键字进行索引，关键字对应的表项记录出现这个字或词的所有文档，每个表项记录着该文档的ID和所对应的关键字在该文档中出现的位置情况。
倒排表的组织结构如图3所示[3]。
图3 倒排表的索引结构因为每个字或词对应的文档数量是动态变化的，所以倒排表的建立和维护都较为复杂，但是在查询时可以一次得到查询关键字所对应的所有文档，因此效率高于正排表。
在全文检索中，检索的快速响应是最关键的性能之一，而索引的建立在后台进行，效率相对较低，不会影响整个搜索引擎的效率[3]。
(3)索引压缩在全文检索系统中，存储的数据信息是动态增加的。
由于索引记录了关键字每一次出现的位置信息，随着信息的不断增加，需要索引的内容会不断增加，索引量也将不断增大，如果不进行压缩处理，索引的大小会和原文档相当甚至是其的几倍，这必然会占用较多的存储空间[3]。
更重要的是，查询时需要读入的索引量也在增加，降低了查询速度。