一种基于LUCENE的中文分词算法研究
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
检 索功 能 。
１ １ Ｌ Ｃ Ｎ 系 统 架 构 ． Ｕ Ｅ Ｅ
Ｌ ｃｎ ｕ ｅ ｅ系统 架构有 着 明显 的 面向对 象特 点 ， 将 系统 核 心 功 能部 分 设 计 为抽 象 类 ， 体 的实 现 部 分设 它 具 计 为抽 象类 的实 现 ， 计一 种 与平 台无关 的索 引格 式类 ， 设 与平 台相关 操 作也 设 计 为抽 象 类 ， 过层 层 面 向对 通 象设 计 ， Ｌ ｃ ｎ 成 为一 个 高 内聚 、 使 ｕｅｅ 低耦 合 、 易 进 行 二次 开 发 的检索 引擎 。Ｌ ｃｎ 系 统 架 构 主要 由基本 容 ｕｅ ｅ 封装 结构 、 引核 心 和外部 接 口三部 分组 成 ， 中索引核 心是 Ｌ ｃｎ 架 构 的关键 部 分 。Ｌ ｃｎ 索 其 ｕｅｅ ｕ ｅ ｅ系统 架 构如
Ｖｏ ． ４ ＮＯ ３ １２ ．
Ａ ｕｇ ２ ０ １ １ ．
文 章 编 号 ： ０ ６ ０ ７ ２ １ ） ３— ０ ３—０ １ ０ —１ ３ （ ０ １ ０ ０ ５ ６
ｄｉ１ ． ９ ９ｊｉ ｎ １０ ｏ ： ０ ３ ６ ／．ｓ ． ０ ６—１ ３ ． ０ １ ０ ． １ ｓ ０７２１．８０２
器 。该算 法基 于字 符 串匹 配原 理 ， 现 了正 向 和逆 向相 结 合 的最 大 增 字 匹配 分 词 算 法 。 实 通过 实验 仿真 ， 比较 改进 后 的分 析器 与 Ｌ ｃｎ ｕ ｅ ｅ自带 的两 种分 析器 在分 词效 果 和效率 上 的 差异 。结 果显示 ， 进后 的分 析器 分词 效 果 明显 优 于 Ｌ ｃｎ 改 ｕ ｅ ｅ自带 的 两种 分 析 器 ， 高 了 提 全文 检索 系统 的 中文处 理能 力 ， 系统 的查 全率 和查 准率都 达 到用 户 的需 求 。 关键 词 ：全文 检 索 ；Ｌ ｃｎ ；中文分 词 ｕ ｅｅ
＊ 收稿 日期 ：２ ｌ － ７２ Ｏ １０ ３
基 金 项 目 ：国 家 支 撑 计 划项 目（０ ６ Ａ１ １ ０ ） ２ ０ Ｂ １Ｂ ７
作者简介 ： 戴
洪 （ ９ ８） 男 ， 士 研 究 生 ， 要研 究 方 向 ： 布 式计 算 。 １８ ， 硕 主 分
５ ４
青 岛 大 学 学 报 （自 然 科 学 版 ）
第 ２ ４卷
图 １ Ｌ ｃｎ ｕ ｅ ｅ系 统 架 构
１ ２ Ｌ Байду номын сангаас Ｎ 索 引 结 构 ． Ｕ Ｅ Ｅ
Ｌ ｃｎ 采 用倒 排 索 引结 构 ， ｕｅ ｅ 即以词 作 为 索 引基 本单 位 ， 过 词来 建 立 词一 文 档 映射 关 系 。根据 这 种 索 通
Ｖ ＡＰ 接 口。它不是 一个 完 整 的全文 检 索 引擎 ， Ａ Ｉ 而是 一 个 面 向全 文 检 索 的 引擎 架 构 ， 开 发 基 于 Ｌ ｃｎ 要 ｕｅ ｅ
的全文 检索 系统 ， 需要 在其 基础 上 进行 二 次 开 发 。Ｌ ｃｎ ］ ｕ ｅ ｅ主 要 提供 了索 引 引擎 、 索 引 擎 和存 储 管 理 接 检 口等模 块 。它为 开发 人员 提供 了一个 简 单易 用 的全文 检 索类 包 ， 以方 便 地嵌 入 到 各种 应 用 中以实 现 全 文 可
第２ ＠ 第 ３ ４ 期 ２ １ ８ １ 年 月 ０
青 岛 大 学 学 报 （自 然 科 学 版 ） Ｊ Ｒ Ａ Ｆ Ｑ Ｎ Ｄ Ｉ Ｅ ＳＴ （ ｔｒｌ ｃｅ ｃ ｄｔ ｎ ＯＵ Ｎ Ｌ Ｏ Ｉ Ｇ ＡＯ ＵＮ Ｖ Ｒ Ｉ Ｙ Ｎａｕ ａ Ｓ ｉ ｅＥ ｉｏ ） ｎ ｉ
中 图 分 类 号 ：Ｔ ３ １ Ｐ ９ 文 献 标 志 码 ：Ａ
全 文 检索 是 以各 种计 算 机数据 诸 如文字 、 音 、 声 图像 等 为处 理对 象 ， 供按 照数 据 资料 的 内容 而不 是 外 提 在特 征来 实现 的信 息检 索手 段 。Ｌ ｃｎ ｕ ｅ ｅ作 为实 现 全 文检 索 的组 件之 一 ， 然 已经被 广 泛 地应 用 ， 是 国 虽 但 内对 Ｌ ｃｎ ｕ ｅ ｅ的研究 和应 用 多数 是将 Ｌ ｃｎ ｕ ｅ ｅ直 接 应用 到 全 文 检索 系统 中 ， ｕ ｃｎ Ｌ ｎ ｅ ｅ自带 的语 言分 析 器 只 能对汉 字 进行单 字 切分 和双 字切分 ， 能很 好 的对 中文 信 息进 行 处理 。本 文 针 对 Ｌ ｎ ｅ ｅ的这 一不 足 进 行 不 ｕ ｃｎ
一
种基于 Ｌ Ｃ Ｎ Ｕ Ｅ Ｅ的中文分词算法研究
戴 洪 ， 蒋 静 ， 樊 程 ，于 雪丽
（ 岛大 学信 息 工程 学 院 ，山 东 青 岛 ２ ６ ７ ） 青 ６ ０ １
摘 要 ：由于 Ｌ ｃｎ ｕ ｅ ｅ自带 的 Ｃ ｉｅ ｅ ａｙｅ 和 Ｃ ＫＡｎ ｌｚｒ 种 中文分 析器 不能 够满 ｈｎ ｓＡｎ ｌｚｒ Ｊ ａｙ ｅ 两 足全 文检 索 系统 的应用 ， 本文 给 出 了一 种 新 的 中文 分 词 算法 ， 于改 进 Ｌ ｃｎ 用 ｕ ｅ ｅ中文 分析
了改进 ， 出 了一个 新 的中文 分词算 法 ， 以构建 高效 的 中文分 析 器 。改进后 的分 析 器提 高 了中文信 息处 理 提 用
能力 。
１ 相关 技 术研 究
Ｉ ｃｎ 是一 个免 费 开 放源 码 的全 文 检索 引 擎工 具 包 ｌ ］ 来 源 于 Ａｐ ｃ ｅ Ｊ ｋ ｒａ项 目组 开发 的 Ｊ ｅｅ ｕ ３ ， ａｈ 下 ａ ａｔ Ａ—
图 １所示 （ ｒ． ｐ ｃ ｅ Ｌ ｃｎ 简 写为 Ｌ ｃｎ ） ｏ ｇ ａ ａｈ ． ｕ ｅ ｅ ｕｅ ｅ。
通过 图 １ ｕ ｅ ｅ Ｌ ｃｎ 系统 架构 可见 ， ｕ ｅ ｅ系统结 构 清晰 ， Ｌ ｃｎ 每个 包分 工 明确 ， 用来 完成 特 定 的功 能 。每 个功 能模 块都 设计 为抽 象类 ， 于维 护和 扩展 ［ 。 便 ６ ］
１ １ Ｌ Ｃ Ｎ 系 统 架 构 ． Ｕ Ｅ Ｅ
Ｌ ｃｎ ｕ ｅ ｅ系统 架构有 着 明显 的 面向对 象特 点 ， 将 系统 核 心 功 能部 分 设 计 为抽 象 类 ， 体 的实 现 部 分设 它 具 计 为抽 象类 的实 现 ， 计一 种 与平 台无关 的索 引格 式类 ， 设 与平 台相关 操 作也 设 计 为抽 象 类 ， 过层 层 面 向对 通 象设 计 ， Ｌ ｃ ｎ 成 为一 个 高 内聚 、 使 ｕｅｅ 低耦 合 、 易 进 行 二次 开 发 的检索 引擎 。Ｌ ｃｎ 系 统 架 构 主要 由基本 容 ｕｅ ｅ 封装 结构 、 引核 心 和外部 接 口三部 分组 成 ， 中索引核 心是 Ｌ ｃｎ 架 构 的关键 部 分 。Ｌ ｃｎ 索 其 ｕｅｅ ｕ ｅ ｅ系统 架 构如
Ｖｏ ． ４ ＮＯ ３ １２ ．
Ａ ｕｇ ２ ０ １ １ ．
文 章 编 号 ： ０ ６ ０ ７ ２ １ ） ３— ０ ３—０ １ ０ —１ ３ （ ０ １ ０ ０ ５ ６
ｄｉ１ ． ９ ９ｊｉ ｎ １０ ｏ ： ０ ３ ６ ／．ｓ ． ０ ６—１ ３ ． ０ １ ０ ． １ ｓ ０７２１．８０２
器 。该算 法基 于字 符 串匹 配原 理 ， 现 了正 向 和逆 向相 结 合 的最 大 增 字 匹配 分 词 算 法 。 实 通过 实验 仿真 ， 比较 改进 后 的分 析器 与 Ｌ ｃｎ ｕ ｅ ｅ自带 的两 种分 析器 在分 词效 果 和效率 上 的 差异 。结 果显示 ， 进后 的分 析器 分词 效 果 明显 优 于 Ｌ ｃｎ 改 ｕ ｅ ｅ自带 的 两种 分 析 器 ， 高 了 提 全文 检索 系统 的 中文处 理能 力 ， 系统 的查 全率 和查 准率都 达 到用 户 的需 求 。 关键 词 ：全文 检 索 ；Ｌ ｃｎ ；中文分 词 ｕ ｅｅ
＊ 收稿 日期 ：２ ｌ － ７２ Ｏ １０ ３
基 金 项 目 ：国 家 支 撑 计 划项 目（０ ６ Ａ１ １ ０ ） ２ ０ Ｂ １Ｂ ７
作者简介 ： 戴
洪 （ ９ ８） 男 ， 士 研 究 生 ， 要研 究 方 向 ： 布 式计 算 。 １８ ， 硕 主 分
５ ４
青 岛 大 学 学 报 （自 然 科 学 版 ）
第 ２ ４卷
图 １ Ｌ ｃｎ ｕ ｅ ｅ系 统 架 构
１ ２ Ｌ Байду номын сангаас Ｎ 索 引 结 构 ． Ｕ Ｅ Ｅ
Ｌ ｃｎ 采 用倒 排 索 引结 构 ， ｕｅ ｅ 即以词 作 为 索 引基 本单 位 ， 过 词来 建 立 词一 文 档 映射 关 系 。根据 这 种 索 通
Ｖ ＡＰ 接 口。它不是 一个 完 整 的全文 检 索 引擎 ， Ａ Ｉ 而是 一 个 面 向全 文 检 索 的 引擎 架 构 ， 开 发 基 于 Ｌ ｃｎ 要 ｕｅ ｅ
的全文 检索 系统 ， 需要 在其 基础 上 进行 二 次 开 发 。Ｌ ｃｎ ］ ｕ ｅ ｅ主 要 提供 了索 引 引擎 、 索 引 擎 和存 储 管 理 接 检 口等模 块 。它为 开发 人员 提供 了一个 简 单易 用 的全文 检 索类 包 ， 以方 便 地嵌 入 到 各种 应 用 中以实 现 全 文 可
第２ ＠ 第 ３ ４ 期 ２ １ ８ １ 年 月 ０
青 岛 大 学 学 报 （自 然 科 学 版 ） Ｊ Ｒ Ａ Ｆ Ｑ Ｎ Ｄ Ｉ Ｅ ＳＴ （ ｔｒｌ ｃｅ ｃ ｄｔ ｎ ＯＵ Ｎ Ｌ Ｏ Ｉ Ｇ ＡＯ ＵＮ Ｖ Ｒ Ｉ Ｙ Ｎａｕ ａ Ｓ ｉ ｅＥ ｉｏ ） ｎ ｉ
中 图 分 类 号 ：Ｔ ３ １ Ｐ ９ 文 献 标 志 码 ：Ａ
全 文 检索 是 以各 种计 算 机数据 诸 如文字 、 音 、 声 图像 等 为处 理对 象 ， 供按 照数 据 资料 的 内容 而不 是 外 提 在特 征来 实现 的信 息检 索手 段 。Ｌ ｃｎ ｕ ｅ ｅ作 为实 现 全 文检 索 的组 件之 一 ， 然 已经被 广 泛 地应 用 ， 是 国 虽 但 内对 Ｌ ｃｎ ｕ ｅ ｅ的研究 和应 用 多数 是将 Ｌ ｃｎ ｕ ｅ ｅ直 接 应用 到 全 文 检索 系统 中 ， ｕ ｃｎ Ｌ ｎ ｅ ｅ自带 的语 言分 析 器 只 能对汉 字 进行单 字 切分 和双 字切分 ， 能很 好 的对 中文 信 息进 行 处理 。本 文 针 对 Ｌ ｎ ｅ ｅ的这 一不 足 进 行 不 ｕ ｃｎ
一
种基于 Ｌ Ｃ Ｎ Ｕ Ｅ Ｅ的中文分词算法研究
戴 洪 ， 蒋 静 ， 樊 程 ，于 雪丽
（ 岛大 学信 息 工程 学 院 ，山 东 青 岛 ２ ６ ７ ） 青 ６ ０ １
摘 要 ：由于 Ｌ ｃｎ ｕ ｅ ｅ自带 的 Ｃ ｉｅ ｅ ａｙｅ 和 Ｃ ＫＡｎ ｌｚｒ 种 中文分 析器 不能 够满 ｈｎ ｓＡｎ ｌｚｒ Ｊ ａｙ ｅ 两 足全 文检 索 系统 的应用 ， 本文 给 出 了一 种 新 的 中文 分 词 算法 ， 于改 进 Ｌ ｃｎ 用 ｕ ｅ ｅ中文 分析
了改进 ， 出 了一个 新 的中文 分词算 法 ， 以构建 高效 的 中文分 析 器 。改进后 的分 析 器提 高 了中文信 息处 理 提 用
能力 。
１ 相关 技 术研 究
Ｉ ｃｎ 是一 个免 费 开 放源 码 的全 文 检索 引 擎工 具 包 ｌ ］ 来 源 于 Ａｐ ｃ ｅ Ｊ ｋ ｒａ项 目组 开发 的 Ｊ ｅｅ ｕ ３ ， ａｈ 下 ａ ａｔ Ａ—
图 １所示 （ ｒ． ｐ ｃ ｅ Ｌ ｃｎ 简 写为 Ｌ ｃｎ ） ｏ ｇ ａ ａｈ ． ｕ ｅ ｅ ｕｅ ｅ。
通过 图 １ ｕ ｅ ｅ Ｌ ｃｎ 系统 架构 可见 ， ｕ ｅ ｅ系统结 构 清晰 ， Ｌ ｃｎ 每个 包分 工 明确 ， 用来 完成 特 定 的功 能 。每 个功 能模 块都 设计 为抽 象类 ， 于维 护和 扩展 ［ 。 便 ６ ］